zur Simuation:
deine Modelle laufen bei mir einwandfrei.
1)Schau dir mal den Strom in den einzelnen FETs an. Wahrscheinlich fließen riesige Querströme am Motor vorbei.
2) Schau mal die Betriebsspannung und den Betriebsstrom an
3) Als nächstes sind die Gatespannungen zu kontrollieren, das sollten steilflankige Rechtecke sein mit ca. 10V Hub.
4) setze die PWM- rise/fall Zeiten auf 10ns. Bei 0 baut spice eigene Zeiten ein, das hat mich auch schon verwirrt.
Im Umgang mit den LIBs weis ich auch nicht weiter.

Aber nun zum Thread-Thema:
unterschätze die Sache mit den Relais nicht. So ein Relais schaltet bis zu 8A und im eingeschalteten Zustand darfs auch mal ein "bischen mehr" sein. Es ist darauf zu achten, das Relais nur im stromlosen Zustand zu schalten. Das Relais polt nur den Motor um; die PWM- Steuerung mit dem N-FET ist sehr sauber möglich, wenn ein Treiber MC34151 genommen wird. Der P-FET dient nur als "niederohmig geschaltete Freilaufdiode".
Diese Schaltung ist aktuell, hat einen sehr hohen Wirkungsgrad und ist konkurrenzlos billig. Die Einschränkungen gegenüber einer Vollbrücke sind die langsame Umschaltung zwischen vorwärts und rückwärts und die fehlende Motorbremse.

Gruß Stupsi