Wäre in dem Fall

DDRB &= ~(1 << PB3); /* set PB3 to input*/ PORTB |= (1 << PB5);

aber sowieso egal.

Hast du den ISP Adapter immer angesteckt?
Würde ich mal ohne testen. Ansonsten mal den Pegel an den Pins messen.