Servus Frederic,

von einem USB-Treiber kann ich dir nur abraten. Das wird nicht so leicht. USB/MIDI-Adpater bekommst im China-Preissegment nachgeschmissen mitsamt Treibern.
Als Versorgung kannst es vieleicht nehmen. Die 5V werden aber auch nicht sauber sein, da die Schaltung auch schon etliches an Strom für die LED's aufnehmen wird, und die 5V nie saubere 5V in der Schaltung bringen werden. Wenn Du es aber trotzdem über USB versorgen willst, würde ich dir dringend raten die AREF auf eine kleinere Referenz zu legen, sowie auch die Potentiometer (zwischen AGND und AREF incl. interne AREF von ca. 2,5V).

@Besserwessi
Den ULN2803 (oder funktionsgleiches Teil) würde ich auf keinen Fall weglassen. Die Leitungen führen im schlechtesten Fall den Hauptstrom aller 4 Segmente über die gesamte Dauer und das packt der AVR nicht. Seine "Hardware" besteht ja bereits und ist sicher nicht Low-Current.
Die Spule kann man auf jeden Fall im Layout vorsehen, für den Fall das es zu Komplikationen (permanenten Wertesprüngen) kommt, hat das auf MIDI einen bösen Nebeneffekt. Es werden permanent Controller-Messages generiert, und die MIDI-Verbindung unsinnig mit irrelevanten Datenpacketen belastet.
Den LS-Typen der Treiberschaltung (für die MIDI-Stromschleife) und den Optokoppler würde ich nicht wild durch andere ersetzen versuchen. Ich hatte mit diesen Bausteinen die besten Resultate.
Zur Baudrate und den MHz... im Grunde sollen technisch um die MHz locker reichen bei sauberem Coding (meiner Ansicht sollte es sogar schon um die 1MHz locker machbar sein, aber was schadet es den AVR höher anzutakten, er kann ja bis 16MHz). Das ist etwas relativ einfaches. Das MIDI-Protokoll fährt keine hohen Baudraten. Der Standard stammt ursprüglich noch aus einem Normungs-Gremium das um 1981 entstand, und den Wildwuchs der Kommunikation einfach einmal auf einen klaren Nenner bringen sollte.

Grüße Wolfgang