An der Schaltung von Hacker - die meinen Ausgangspunkt darstellt - ist mir aufgefallen, dass der Kondensator an REFA im Datenblatt zum ADNS-2610 nicht mit 1uF sondern mit 2,2uF vorgeschlagen wird. Könnte das der Grund sein?
der Kondensator kann nicht die Ursache sein, Hitze entsteht durch Stromfluß (Verlustleistung). Ich tippe auf eine Überlastung der Ausgänge des AtMega's oder auf eine unsaubere Versorgungsspannung.

edit: zeig doch mal den Plan um den Atmega, der wird ja schließlich heiß.