Kann es sein, das AVCC und AGND nicht angeschlossen sind ?
Dann könnte bei den extremstellungen des Potis der Versorgungsstrom, der sonst über AGND/AVCC fließen soll über den Poti und die internen Schutzdioden fließen.

Der intern Pullup sollte nur sehr wenig Strom (max. 0.1 mA) durchlassen.