Hallo Roland,
Habe gerade im Dattenblatt geguckt, Du hast recht, ADMUX benutzt nur die untersten 3 Bits, sorry kenn den Controller nicht

Laut Dattenblatt brauchst Du eine externe Referenzspannung, hast Du den
Jumper (AREF) auf dem STK500 geschlossen, und hast Du die Spannung eingestellt?
nicht daß sie auf 0,4 V steht, oder sowas...
stell Sie so hoch wie möglich, VCC halt, am sonsten, der Poti, ist der richtig angeschlossen(VCC,ADCPin,GND) ?
So wie ich das sehe, muß Dein Programm so laufen ich mach daß auch so in der Art etwa

Gruß Sebastian