In der Skizze fehlen die Widerstände...
Prinzipiell ist das Problem, um den Pin sicher auf GND zu ziehen, muss da ein recht kleiner Widerstand (idealersweise gar keiner...) nach GND verbaut werden. Dann brauchst du aber einen noch kleineren Widerstand auf der anderen Seite, um den Pin wieder auf 5V zu ziehen. Und dann fließt permanent einiger Strom. Das ganze ist ein Spannungsteiler.