Was mich immer noch stutzig macht, ist die Tatsache, daß 0V und 10V korrekt ankommen. Kannst Du die Testspannung mal aus der Versorgungsspannung des MAX127 nehmen(dann halt nur 0 bis 5V) ? Vielleicht ist Dein Netzteil nicht "sauber" genug.

Die Formel ADwert = (highbyte*16)+lowbyte würde da nicht viel bringen.
Da fehlt auch noch
lowbyte = lowbyte shr 4
mfg

Stefan