So wie ich das sehe hast du zwar PortB4 und 5 auf Eingang geschaltet, für die Taster aber keinen PullUp aktiviert.
Ich sehe auch nicht wo du die Tasten abfragst. Ein bisschen Kommentar im Programm wäre nicht schlecht, da müsst man sich nicht alles zusammen klauben.