So wie ich deine Schaltung der Matrix sehe sind alle LEDs parallel, wenn du jeweils die horizontalen Eingänge und vertikalen Ausgänge paralell schaltest.
Daher verstehe ich deine 50V nicht ganz.
Das nächste ist die Helligkeit der LED. Wenn du sie multiplext, sind sie nur ein 1/16 oder gar nur 1/32 der Zeit an. Du brauchst also den mehrfachen Strom um die gleiche Leuchtkraft zu erreichen. Lies dir vielleicht diesen Artikel: www.mikrocontroller.net/articles/LED-Matrix