Die Kondensatoren sind nur für die Stromversorgung. Die meisten Regler haben gerne zumindest am Ausgang nen kleinen Elko 10-100µF und an den Controller gehört von VCC nach GND ein 100nF Kondensator.

Wenn du es in Normalgröße machst, folgende Empfehlung:
Mache es als gute Übung ohne Schaltplan zunächst auf nem Steckbrett. Einfach ein Blick ins Datenblatt werfen.
Taster nach Masse, LEDs über die Widerstände auch nach GND oder Masse, je nach persönlichem Geschmack.

Klar kannst du einen anderen Regler nehmen, solange er irgendwo zwischen 3,3 und 5V liefert und von der Leistung her den paar mA angemessen ist.

Wenn es nicht ultrahelle LEDs sein sollen, empfehle ich low-current Typen, die schon bei 1-2mA gut zu sehen sind. Das schont den Attiny und erlaubt dir, auch sehr kleine Regler zu nehmen, z.B. den 78L05 o.ä.

Später kann man sowas aber wirklich in SMD aufbauen. Man bekommt so eine Schaltung wirklich auf das Volumen einen Würfelzuckerstückes, wenn man vorher ausprobiert hat, ob die Schaltung auch ohne Elko läuft

Eine andere Art, diese wirklich einfache Schaltung zu bauen wäre: fliegend. Teile hinlegen, platzsparend zurechtbiegen und aneinander festlöten und dann mit Heißkleber für die Ewigkeit wappnen.

Gruß MeckPommER