Hallo,
ich glaub das mit der Referenzspannung haut noch nicht so ganz hin, was ist wenn der Jumper offen ist, und am unteren Ende des Poti gehts nicht nach Masse !

Dann könnte man evtl. beim I2C gleich die Pullups mit einbauen.