Du hast die Referenzspannung 2,56V eingestellt, gehst aber bis 5V.
Die Zeile muss so lauten:
Code:
//AVCC als Referenzspannung verwenden 
	ADMUX |= (1<<REFS0);
Aber warum du die Ausgabe bis 1300 bekommst ist mir nicht klar. Bist du sicher das du dich nicht verschrieben hast. Es dürfte max. 1023 sein.