Die Bilder zeigen für mich wohl Störungen auf der Masse und/oder Versorgungsspannung. Diese Störungen können auch ein Grund für die Ausraster sein. Ähnlich wie bei AD-wandlern ist bei PLLs eine gute Masseführung und gute Enkopplung der Versorgungsspannung wichtig.