Dann musst du einfach die PullUps ausschalten und solltest vom Eingangspin einen PullDown Widerstand (ca. 10KOhm) nach GND legen.

Der Sinn der PullUps/Pulldowns ist es, dem Eingang einen definierten Zustand zu verleihen. Liegt der Eingang unbeschaltet "in der Luft" ist sein Potential nicht definiert und es kann zu Störungen in Form von irgendwelchen, vielleicht flackernden Werten am Pin kommen.
Damit dies nicht passiert, wird ein Eingang mit einem Widerstand entweder an GND oder VCC gelegt.