Coole Sache, habe den Fehler gefunden:

Lag doch an diesem Befehl mit Ausgänge erst HIGH setzen dann umschalten.
Ich hab das zwar getan, jedoch dummerweise an der falschen Stelle.
Ich habe die Ausgänge HIGH gesetzt und anschließend den Befehl
I2CTXD(OxFF00) an den I2C Expander geschickt, der den Flash in den Lesemodus versetzt. Deswegen (0xFF00) haben auch zufälligerweise die eine Seite der Ports funktioniert und die andere nicht!! Hab mich an der Stelle wohl ein wenig verhaspelt.

Vielen Dank für eure Hilfe!
Jetzt funktioniert die Sache hier, auch wenn ich nicht ganz auf die Pull Ups verzichten kann. Messe für High ohne die Pull Ups nur 1.9V aber mit den Pull Ups klappt das jetzt einwandfrei! Denke, da werden auch so 10k oder so reichen.
Vielen Dank nochmal! Jetzt muss nur ncoh der Rest laufen

MFG Christoph