Das Layout ist nicht besonders gut, würde mich nicht wundern wenn es daran liegt:
Die Masseleitung zum Programmierstecker ist fürchterlich lang. Als Anhilfe könnte man die große Fläche zwischen Programmierstecker und AVR mit einer Drahtbrücke auch an Masse legen. Alternativ eine Leitung direkt vom AVR zum Stecker. Die Masseleitungen sollten dicker und möglicht kurz werden (für die nächste Platine). Direkt an die Anschlüsse VCC und GND des Prozessors gehören Kondensatoren (ca. 100nF Keramik). Dabei keine Angst vor SMD Kondensatoren, die passen wunderbar direkt an die PADs vom IC.
An den Oszillator gehört auch noch ein Abblockkondensator, sonst wird der Takt leicht instabil.

Aref sollte man übrigens nicht direkt an VCC legen, sondern eher einen Kondensator nach Masse vorsehen. Wenn man VCC als Referenz will, macht man das per Software. Sollte aber nicht das Problem hier sein.

Der Spannungsregler mag auch ganz gerne noch einen einfachen Elko( ca. 1-10uF) am Ausgang, denn die Elkos sorgen durch den hohen ESR für etwas Dämpfung bei hohen Frequenzen.

Mit etwas Glück könnte die Drahtbrücke bei GND und die Abblockkondensatoren die Schaltung zum laufen bringen.