Ein paa schwankungen sind bei einem LDR recht schnell eingefangen. Das meiste künstliche Licht ist mit 100 Hz moduliert. Das sieht man nicht, aber der LDR / AD Wandler kreigt das mit und mißt dann zu einem mehr oder weniger zufälligen Zeitpunkt auch mehr oder weniger zufällige Werte. Wenn man das etwas unterdrücken will, müßte man mehr Werte messen und über z.B. 10 / 20 oder 40 ms mitteln - so machen das die meisten Multimeter auch.

Wenn der interne Pullup so viel Einfluß hat, ist da was falsch. Entweder ist die Signalquelle zu hochohmig, oder man hat den Pin noch als Ausgang.