Die werden nicht umsonst in die Datenblätter reinschreiben das da ein Kondensator hingehört. Bei einigen Typen (nicht der einfache 7805) gibt es sogar vorschriften hinsichtlich ESR verhalten. Es kommt darauf an was für eine Impedanz der Regler am Ausgang sieht, typischer weise für Frequenzen 10 kHz bis 1 MHz. "Wohlfühlen" tut er sich wenn da was restitives und kappatzitives dran hängt, was induktives, wie eine lange Leitung, die dann womöglich noch mit der zuleitung irgendwie koppelt, kann zum Schwingen führen. Wenn man es nicht wirklich besser weiß hält man sich am besten an das Datenblatt.