Ich bin jetzt nicht der Schaltnetzteil Crack, aber ich vermute, das deine Schaltung zu langsam reagiert.
Das heisst, wenn der Transistor eingeschaltet ist braucht es zu viel Zeit um die A/D Werte zu generieren, die den Transistor wieder abschalten lassen.
In dieser Zeit schießt die Spannung über den Sollwert hinaus und es dauert eine gewisse Zeit bis der Einschaltpegel wieder erreicht ist.

Das würde bedeuten, das deine Ausgansspannung um den Sollwert herum pendelt.

Schau Dir mal die Spannung mit dem OSZI an.

Vieleicht kriegst Du mit dem Analog Komparator eine schnellere Regelung gebacken ? Da dieser ja keine A/D Wandlung durchführen muß und somit sofort einen Interrupt auslösen kann.
(Nur ein Gedankenspiel - Ausprobiert hab ich sowas noch nicht !).