Wenn du SPI nicht ausdrücklich einschaltest, ist PinB.4 genauso normal wie alle anderen.
Schau mal mit dem Multimeter (am Atmega), ob das Pull-uppen auch funktioniert. Vielleicht ist ja irgendwo ein Kontaktfehler