Grundsätzlich geht es auch nur mit dem Poti also ohne den Widerstand.
Wenn es qualmte dann hast du den Schleifer des Potis nicht am Pin 3 des Displays angeschlossen sondern an 5V oder GND. Durch das drehen in die eine Richtung hast du dadurch einen Kurzschluss verursacht und das Poti geplättet.