Ich vermute, dass bei Deinem Code unabsichtlich die Pullups wieder deaktiviert werden (durch Zugriff auf PORTB). Ich würde Dir empfehlen, dies mal in dem zugehörigen Assembler Code zu überprüfen.