Ich hab jetzt gerade selber eine Lösung gefunden das Problem zu umgehen.
Nachdem ich als letzten Versuch den Port B von den Tasten gegen den Port F von meinem LCD Display getauscht hab geht beides. Keine Ahnung warum, aber es funktioniert jetzt.
Wenn jemand weiß warum es mit PB0 und PB1 dabei Probleme gibt wäre ich sehr an einer Antwort interessiert.

Mfg
Christoph