du müsstest bei der portkonfiguration noch die pullups von portD setzen:
ldi r16, 0xFF
out portd, r16