Also das mit dem fehlenden Monitor dürfte eigentlich nichts machen.
Das müsste der PC ja gar nicht mitbekommen. Ich habs auf jeden Fall gerade mal getestet. Mein LinuxCNC startet normal, wenn ich keinen Monitor angeschlossen hab.

memtester kenne ich nicht. Kann also auch nichts zu dem Ergebnis sagen.

Steck an den Rechner mal nen Bildschirm an. Memtest gibt dir auch Informationen zum Speichertyp an.
Beim starten musst du dann Esc drücken, damit du in das Grubauswahlmenü kommst. Dann startest du mal den Defaulttest in Memtest und lässt ihn ein paar Stunden laufen. Dann wird sich zeigen, wie viele Fehler dabei auftauchen.