Gegen die Hitze kann man vermutlich nicht viel machen (außer nem Blech), oder?
Das ist normal bei einem 78xx da er mindestens 2V benötigt wenn er mit ein paar 100mA betrieben wird. Die Schaltung ist einfach und benötigt einen Kühlkörper.

Vielleicht kannst du dein Problem ja lösen, indem du die Motoren direkt an die 12 Volt hängst und den Strom über die Treiberschaltung auf 0,6A begrenzt.
Dann hast du weniger Verluste und holst sogar noch mehr aus den Motoren raus.
Die Lösung geht in Richtung Schaltnetzteil bei dem kaum Leistung in Widerständen oder Längsreglern verbraten wird. Die Motorinduktivität mit PWM angsteuert wirkt wie ein Schaltnetzteil und verringert die Verluste erheblich. Etwas mehr Schaltungsaufwand, könnte man sich aber überlegen, gerade bei Akkubetrieb.
Manfred