Ich dachte, ich nehme zwei AVRs mit genug Ausgängen, und hänge an die Ausgänge die 64 LEDs.
Nein das geht nicht.

Der Controller kann zwar bis zu 30mA an einem Pin liefern aber nicht an allen gleichzeitig.

Dazu kannst du nicht alle Pinne nutzen.
Einge sind reserviert.
Vcc,Gnd,Avcc,Agnd,Reset usw.

Schau mal ins Datenblatt da stehts drinne.

Ein Treiber ist also nötig.