Ich denke mal dass Du auf der Sekundärseite des Trafos grad einen herrlichen Kurzschluss eingebaut hast.
Also so wird das nichts.

Gehe ich recht in der Annahme, dass Du eigendlich ein stabilisiertes Gleichspannngsnetzteil haben möchtest, welches aber auch einen 12VAC Ausgang für die Modelleisbahn hat?
Wenn ja, dann brauchen die 12VAC nähmlich nicht stabilisiert zu sein. Ein einfacher Abgriff am Trafo genügt in diesem Fall.

Um Dir aber helfen zu können, solltest erst einmal genau definieren was dein Netzteil denn so alles können muss.
12VAC bei ca. 10A aber was sonst noch?