Weil ich die Schaltspannungen leider nicht kenne, lieber warte ich, bis du sie gemessen hast. Dann kann man die Widerstände R2, R3 und R4 berechnen und muss damit nicht experimentieren.

Wenn der Motor nur in einer Richtung drehen soll, kannst du ihn anstatt des Relais schalten. Wenn er aber viel mehr Strom braucht, müsste man einen "stärkeren" Transistor nehmen (eventuell Darlington) und den Widerstand R5 verkleinern, was eine Änderung der R2, R3 und R4 benötigt.

Ich würde also empfehlen zuerst die Eingangsdaten vom Phototransistor und Ausgangsdaten vom Motor zu ermitteln und am Ende die "Mitte" der Schaltung (Schmitt-Trigger) berechnen.

MfG