Pin 2 ist 0x04 bzw. (1 << 2), nicht 0x02.
Du fragst also den falschen Taster ab. Wenn der AVR doch mal scheinbar "reagiert", bist du vermutlich auf den Nachbartaster gekommen.

EDIT: Grad am Schaltplan gesehen: Du fragst ja PinD.1 ab, der lt. Schaltplan wohl zum UART gehört. Wenn da also irgendwas ankommt, wird der Schalter "gedrückt"