Ich denke das könnte an der hohen Taktfrequenz von 16MHz liegen.
Vielleicht läd sich da im inneren des Controllers eine Kapazität auf die sich nicht schnell genug wieder entladen kann- ist aber nur eine Vermutung.
Hast du den Pin AVCC des AVR auf +5V gelegt und dann noch zusätzlich
einen 100nF gegen GND geschaltet? An einigen Stellen wird auch empfohlen
noch eine Drossel in Reihe zu +5V zu schalten für AVCC.
Vielleicht könte das noch Abhilfe schaffen.

Mfg
Neutro