...ich möchte die 4 Segmente separat als 3x3 Matrizen verschalten
Das habe ich leider überflogen obwohl du es gleich zu Beginn erklärt hast. Sorry.

Ich bin noch in der Phase in der es einfacher ist, wenn die Schaltung auch dem Aufbau der Logik entspricht
Die logische Zuordnung der LEDs zu den einzelnen "Segmenten" geschieht eh softwaremässig. Es ist dann egal ob du 4x9 oder 1x36 aufbaust.

aber das Tastverhältnis wird irgendwann gruselig
Ich schätze mal dass man das kurze Nachleuchten der LEDs nutzen kann. Aber Erfahrung habe ich damit auch keine, über 12LEDs/4Pins bin ich noch nicht hinaus.