if (!( PINB & (1<<PINB5) ))
PORTB |= (1<<PB3);
else
PORTB &= ~(1<<PB3);

So sollte es wohl eher funktionieren.