Nene. Low = GND = Masse, High = VCC = 5V bzw. 3.3V.
Wenn du den Taster drückst, schaltest du in den jeweils anderen Zustand.
Also wenn du den Pin intern auf High ziehst, muss der Schalter den beim Drücken nach Masse (Low) ziehen, sonst passiert nichts.

Ob "True" angezeigt wird, kommt drauf an wie du abfragst.
Wenn du dir das PIN-Register anschaust, steht beim jeweiligen Pin ne 1 drin, wenn 5V/High anliegen, bzw. 0 wenn Low/Masse anliegt.

if (PINA & (1 << PINA4)) liefert dir True, wenn an PinA4 high-Pegel anliegt.
if (!(PINA & (1 << PINA4))) liefert dir True, wenn an PinA4 low-Pegel anliegt.

Wenns um Taster geht, würd ich maximal die VCC verwenden. Wenn der Taster direkt die Batteriespannung durchschaltet (12V?), wär das ungesund für den AVR.

Bei LEDs ist es wie gesagt egal, da hier nur der Stromfluss wichtig ist (wird begrenzt durch den Widerstand).