Wenn möglich, schließ mal ein Poti an den ADC an (Äußere Anschlüsse an Masse und Versorgungsspannung, Abgriff an den ADC) und fahr damit mal den ganzen Bereich von 0V bis 2,56V durch.
Kontrollier vorher nochmal die Referenzspannung, das hört sich so an als wäre die Referenz 5V. Wie ist der Aref-Pin beschaltet?

MfG