Also das mit deiner Referenzspannung ist definitiv Mist.
Die beiden REFS sollten 1 sein - das müsste stimmen.
An AVCC wirst Du auch +5V haben und An AGND auch GND.
Der Controller hat ach Takt, sonst ginge das Display nicht.

Es wäre jetzt noch möglich, das dein Messgerät einen sehr geringen Einganswiderstand hat und somit die AREF in den Keller zieht.
Miss mal alle Versorgungsspannungen (VCC, AVCC, GND, AGND) am Controller nach, evtl. hast Du ja eine kalte Lötstelle reingebastelt.
Ansonsten fällt mir nicht mehr viel dazu ein.

Der A/D Wandler muss natürlich vor der Messung der Spannung AREF initialisiert sein, aber ich Denke so schlau bist Du auch.

Das Problem mit den zu kleinen Temperaturwerten wird aber vermutlich an der signed long - Geschichte liegen.