Hast du schon mal versucht :

Code:
ADMUX |= (1<<REFS0) | (1<<REFS1)
Also die Referenzspannung auf intern zu setzen ? Dann sollten 2,56 V am AREF-Pin anliegen. Die dann mit masse ans Poti und den Schleifer wie gehabt an deinen ADC0. Bei deiner Einstellung wird AVCC genommen, der auf 5V liegen sollte (plus 100nF Kerko)