Wenn ich diese Abschalte werden doch die PA0..PA7 freigeschaltet sehe ich doch richtig oder?
Nein, das siehst Du falsch.
AREF,AGND und AVCC soll man grundsätzlich beschalten, alle Pins geben solange ganz normale I/O Pins, bis man die Sonderfunktionen nich per Software eingeschaltet hat.
Am sonsten sieht Dein Schaltplan schon mal gut aus, nur warum nimmst Du einen M32 ?
Du wolltest doch so wenig Platz wie möglich gebrauchen, nimm doch einen M8 der ist wohl mehr als nur ausreichend.


Gruß Sebastian

P.S.
Hier findest Du die korekte Beschaltung der ISP Schnittstelle
Viel Spaß noch