Man sieht die Störung ja mal deutlicher, mal schwächer.

Wenn man nun die Hand gleichmäßig von links nach rechts oder umgekehrt über dem Sensor bewegt
Vielleicht ist das ja auch ein ca. 1 Hz Störsignal, dann ist das möglicherweise die periodische Temperaturänderung Deiner Hand durch den Pulsschlag.