Die beiden Kondensatoren sind zum Abblocken von Spitzen, damit der PIC nicht von was anderem gestört wird und die anderen nicht vom PIC; 100nF für die höherfrequenten Spikes, 10µF für evtl. Einbrüche beim Schalten.
Die Referenzspannung sollte auch einen 100nF nach GND haben, damit evtl. Spikes abgefangen werden.
Woher weist Du, daß die Spannung zwischen 1,126 und 1,2V schwankt ? Von einem Meßgerät ? Sind die 24V stabilisiert ? Sind die 5V stabilisiert ?
Kannst Du mit einem Scope messen, ob auf den Gleichspannungen irgendwie Störungen, Rauschen, Schwingen, etc. mit drauf ist ?
Kannst Du feststellen, in welchem Rhytmus die Spannung schwankt ?