AVCC ist die Versorgungsspannung für der ADC-> an VCC hängen (die beiden Spannungen dürfen nicht stark voneinader abweichen). Der separate Pin ist dafür gedacht, diese Leitung einzeln (+evtl besser) abzublocken, um Störungen draußen zu halten. Im Datenblatt findet sich dazu ne Schaltung mit Spule und Kondensator.

AREF ist die Referenzspannung, mit der der ADC die Messpannung vergleicht. Sie muss größer sein als die maximal zu messende Spannung.
Oft reicht es aus, AVCC als Referenz zu nehmen. Dies kann man aber auch per Software einstellen und braucht keine externe Verbindung ziehen. Dann kann man auch die interne 2,56V-Refernz anwählen. Bei diesen beiden Möglichkeiten sollte man nen Kondensaor an AREF gegen Masse legen. Wenn es extrem genau sein muss, kann man an AREF eine extern erzeugte Spannung einspeisen.