Wenn du jetzt gegen Masse schaltest, macht das Programm genau das, was drinsteht. Wenn du gegen 5V schalten willst, musst du den internen Pullup ausschalten und aussen am Pin einen Widerstand gegen Masse schalten.
Wenn der Taster nicht gedrückt ist und der interne Pullup aus ist, nimmt der Pin irgend einen zufälligen Pegel an. Das Kabel des Tasters (und wenns auch noch so kurz ist) wirkt da als Antenne. Da reichts, wenn man mal dran vorbeiläuft; der Pin fängt sich irgend ne Ladung ein und wechselt undefiniert.

Darum einfach z.B. nen 1k...10k Widerstand nach Masse, dann ist der definiert auf 0V. Über den Taster lässt sich das dann auf 5V schalten.
Dann kanns noch sein, dass die beiden Anweisungen in der if-Abfrage umgetauscht werden müssen (Also wenn die LED beim Nicht-Drücken leuchtet und beim Drücken ausgeht)