Zwei Fragen:
1. Wie hoch ist die ungeregelte Spannung vor dem 7805?
2. Wie hast Du den 7805 gekühlt?

Hintergrund:
Ungekühlt verkraftet ein Halbleiter im TO-220-Gehäuse nicht viel mehr als etwa 1 Watt Verlustleitung. Beim 7805 bedeutet das:
Die durchschnittliche Stromaufnahme der Schaltung darf selbst dann nicht über ca. 0,3 A steigen, wenn der 7805 mit seiner Mindestspannung (ca. 8V) betrieben wird.

Ich vermute, daß Du Probleme mit der Kühlung des 7805 hast. Diese Probleme führen zu einer instabilen Betriebsspannung.

Abhilfe: ausreichend dimensionierter Kühlkörper.

Grüße
Barny