Wenn Du den ADC auf GND legst, soll Dein LDR auch nix bringen.
Versuche es einmal wie in der Zeichnung, der C ~ 100n kann die
Schwankungen (etwas) glätten. Vreff sollte dabei auf VCC programmiert
sein und der Interne Pull-up ausgeschaltet.

Gruß Richard