Ja, das ist alles korrekt so.
Wenn man den Pin/Port als Ausgang konfiguriert, kann man ihn per Software auf 1 (5 Volt) oder auf 0 (GND) schalten.
Ersetze nun gedanklich einfach mal den Pin durch eine Verbindung zum GND. Wie du siehts, leuchtet die Diode dann.
Und nun denk dir anstelle des Pins eine Verbindung an +5V. Wie du siehst, leuchtet die Diode dann nicht mehr, da sie an beiden seiten an +5V geschalten ist und kein Strom fließen kann.

Würdest du den Pin/Port nun als Eingang konfigurieren, wie willst du ihn dann auf GND schalten? Einen EINGANG kann man nur abfragen, aber nicht schalten

Die (ich glaube alle) Atmel AVRs haben dann zusätzlich noch eine funktion: wenn man einen Pin/Port als Eingang konfiguriert UND den Pin/Port auf high setzt, dann wird ein Pull-Up Widerstand dazu geschalten.

Wenn du den Pin/Port in dieser Schaltung nun als Eingang konfigurieren würdest, dann könnte kein Strom fließen, denn der Pin kann niemals auf GND geschalten werden sondern lediglich das Potential über den Pull-Up auf +5V angehoben werden.

Kannst es ja auch einfach ausprobieren, dadurch würde in diesem Fall nichts kaputt gehen.

Ich hoffe ich konnte dir weiter helfen.

Gruß Robodriver