Mit
Code:
Config Pinb.4 = Input
konfigurierst du den Pin als Eingang.
Anschließend setzt du mit
Code:
Portb.4 = 1
den internen Pullup des Pins.

Allerdings wird er vermutlich trotzdem immer mehr als den Betrag 1 runterzählen, da der Taster ja prellt und damit pro Tastendruck mehrere Impulse produziert.

Teste das mal, und wenn es funktioniert kümmern wir uns um die Entprellung, wenn du möchtest.