Ich kanns mir nur dadurch erklären, als dass VCC nicht 100% glatt rüberkommt und sozusagen wie eine Antenne strahlt. Das Kabel am Port empfängt diese "Radiowellen" und meine Berührung löst den Schaltvorgang irgendwie aus.

Mit dem Phänomen sollte ich wohl in ein Physik- oder Hochfrequenzforum gehen, oder ?
Du hast auf deinem Steckbrett ein paar Kontakte/Stellen/Leitungen mit 5V und ein paar mit GND. Dazwischen ist Luft, auch Luft hat einen Widerstand, d.h. auch an Luft fällt eine Spannung ab.
Deine offenenen Pins sind quasi irgendwo an der Luft dazwischen angeschlossen. Wenn du in deiner Schaltung rumfingerst, beinflusst das das elektrische Feld zwischen deinen Leitungen, d.h. die Spannung an deinen offenen Pins ändert sich.

Da die Spannung an den offenen Pins knapp jenseits von "high" oder "low" (ein/aus; 0/1) liegt, kann diese geringe Änderung zwischen ein und aus entscheiden.

Mit dem Phänomen sollte ich wohl in ein Physik- oder Hochfrequenzforum gehen, oder ?
Du arbeitest mit Gleichspannung und wenn du mit blossen Auge sehen kannst wie die LED blinkt, kann auch die Blinkfrequenz nicht so schrecklich hoch sein.
Mit Hochfrequenz hat es also wenig zu tun, trotzdem wird man dir jeder Hochspannungstechniker das Phänomen erklären können und ein Physiker sowieso.