Du musst von allen vier Eingängen noch einen PullDown Widerstand, etwa 10k, nach GND einfügen. Die offenen Eingänge haben sonst kein eindeutiges Potential.
Es wäre besser wenn du die Schaltung so ändern würdest das die Taster von den Eingängen nach GND gehen würden, dann musst du nur noch die internen PullUp aktivieren. PORTB=0xff;
Das Programm entsprechend anpassen.