Wenn du nur einen nimmst, oder sogar ganz auf die Kondensatoren verzichtest, solltest du auf möglich kurze Verbindungen zwischen der Spannungsquelle und den ICs achten.
Bei höheren Frequenzen(etwa bei 16MHZ auf AVRs) sind die Kondensatoren schon zu empfehlen(kosten ja nicht allzu viel), weil der µC sonst sporadisch abstürzen kann(nicht nur theoretisch, ist mir schon passiert - und da die Abstürze nicht so richtig reproduzierbar sind, suchst du dir'n Wolf nach dem Fehler...).