Zuerst mal ein paar grundsätzliche Sachen.
Was machen die anderen 3 Op Amps des LM 324 ?
Wenn die Eingänge offen sind schwingt der manchmal wie Sau und Du kriegst keine vernünftigen Ergebnisse.

Wenn Du einen OP frei hast, warum nimmst Du den nicht als Spannungsteiler- Impedanzwandler, der eine passende Ausgangsspannung liefert.
Der Verstärkungsfaktor ist dann wirklich nur von 2 Widerständen abhängig und der Nullpunkt lässt sich schön mit dem Spannungsteiler Einstellen.
Die Spannung des Impedanzwandlers lässt sich dann noch mit einem Kondensator noch stabiler machen.