Ich wuerde uebrigens den Motor zw. +12V und Kollektor der Transistor anschliessen, Emitter an Masse. So wie jetzt, je mehr Spannung der Motor bekommt, je weniger bekommt die Fotodiode und der Transistor. Du hast eine sog. "negative Rueckkopplung" geschaffen.

Einen Leistungstransistor und einen Operationsverstaerker zw. Fotodiode und Transistor und es sollte klappen. Auch eine Freilaufdiode (in Sperr-richtung) parallel zum Motor schuetzt den Transistor vom Kaputtgehen beim Ausschalten des Motors.