Hallo,
die Probleme sind:
1. mißt Du den Ist-Wert der Ausgangsspannung vor einer Diode, an der je nach Belastung 0,5...0,8V abfallen, also Schwankungen um 0,3V
2. verwendest Du als Soll-Wert die je nach Belastung schwankende Eingangsspannung; entsprechend schwanken auch alle anderen Werte !
3. steuerst Du einen Transistor mit hfe von 40 (= ungünstigster Wert) über 1k an; der Transistor bekommt je nach Belastung zu wenig Basisstrom.
4. 50mA bei 11V Spannungsabfall am Transistor ergeben eine Verlustleistung von 0,55 Watt; das macht einen Kühlkörper erforderlich.

Meine Lösungsvorschläge wären:
- entweder die Diode weg lassen oder 'anders rum' vom Ausgang zu den +12V
- den Sollwert z.B. mit einem Widerstand und einer Zener-Diode auf ca. 10V stabilisieren
- einen Darlington-Transistor verwenden oder einen Treiber-Transistor in Darlington-Schaltung dazu
- einen kleinen Finger-Kühlkörper anbringen