Es müsste heissen
Code:
ADMUX = (1<<REFS0) | mux;
ansonsten überschreibst du ADMUX.

Der Wert des ersten ADC-Ergebnisses nach Aktivierung des ADC sollte man laut Handbuch in die Tonne kloppen. Also nach Aktivierung erst eine Blind-Wandlung machen.