Welche Spannung hast du denn am Pin 4 des L298 (Supply Voltage) und welche an Pin 9 (Logic Supply Voltage) angeschlossen?
Der L298 schaltet die Spannung von Pin 4 an die Outputs durch, damit ist die Steuerspannung und Motorspannung getrennt und die Motorspannung kann höher sein.
Miss doch auch mal den Strom, der durch Pin 4 und Pin 9 fließt, bzw. miss wie viel Strom durch die einzelnen Spulen fließt. Wenn der L298 so schnell heiß wird, kann etwas nicht stimmen. Entweder ist etwas falsch angeschlossen (Kurzschluss), oder dein Motor braucht zu viel Strom (Daten?).

MfG
Basti