Steht die Höhe der Spannung denn nicht im Verhältnis zur Lautstärke?
Wie schnell samplest du die Werte denn?
Ein (kleiner) Kondensator könnte ja schon helfen. Er lädt sich auf ein Mittelwert auf und die Spannung wird dann ja erkannt.

Was verwendest du denn als Vref?