Helfen würde nur ein 32kHz Quarz oder zumindest ein Baudratenquarz. Eine Temperaturregelung (Quarzheizung) dazu würde die Genauigkeit auch drastisch erhöhen.
Wie du die Schaltung aufgebaut hast weiß ich nicht, aber zum µC hin solltest du in die VCC eine Diode geben und einen kleinen Elko, etwa 10µ und einen 100n Kondensator.
10k vom Reset nach VCC.