Deine Spannung wird nicht stabil oder störungsfrei sein.
AVCC wie im Datenblatt vorgeschlagen beschalten. AREF nicht mit AVCC verbinden.