Der Programmer fungiert als eine Art "Übersetzer". Der spielt das Programm (sogenannte Hex-Datei) in den Controller.
Mit der seriellen Schnittstelle konnte man das Proramm auch ganz einfach ohne Prorammer in den Controller schreiben, bei dieser lassen sich die Pins der Buchse noch ganz gut ansteuern. Mit USB geht das nicht so einfach, außerdem hätte USB sowieso zu wenig Anschlüsse für eine direkte Verbindung.
Einfach gesagt.

Die Verbindung wird über die ISP-Schnittstelle gemacht. Da gibt es dann entweder sechs- oder zehnpolige Wannenstecker mit entsprechendem Kabel, einfach an die jeweiligen Beinchen des Controllers anschliessen.

Und zu deiner Frage: Für erste Übungen sollte eine Wandwarze völlig ausreichen. Ich habe am Anfang mit einem 13,8V-Netzteil gearbeitet und mir irgendwann dann ein Labornetzteil geleistet.


Edit:
Wenn du Interesse hast, stelle ich in den nächsten Tagen eine Bauanleitung für ein kleines Entwicklungsboard rein.