Das Problem bei den 3 Batterien ohne Spannungsregler ist, dass die Spannung einer Batterie von ca. 1.6V (voll) bis 0.9V (leer) schwanken kann. Für manche Mikrocontroller (z.B. AVR) ist das (bei hinreichend niedriger Taktfrequenz) noch kein Problem. Viele andere Schaltungsteile (z.B. Displays oder Schnittstellentreiber wie Max232) brauchen aber doch eine stabilisierte Spannungsquelle. Es gibt auch einige ISP-Programmieradapter, die nur mit 5V vernünftig funktionieren.

Zu den Steckernetzteilen: Die sind oft nicht gegen Kurzschluss/Überlast geschützt. Ich würde zum experimentieren daher eher ein billiges Labornetzteil empfehlen (eventuell Gebrauchtkauf bei Ebay, für 15-30 Euro bekommt man schon etwas halbwegs brauchbares).