schon mal nach gemessen ob beim xmega die zeiten EXACT stimmen, auf die ms ?
könnte nähmlich sein das es nur nicht auffällt dass der Fehler durch die abgeschaltete Optimierung das ausgleicht was du mit dem falsch definierten F_CPU verursachst.
Nicht sehr warscheinlich und warscheinlich auch falsch aber ne besser erklärung fällt mir grad nicht ein.
könnte auch sein das bei den Xmega includes der F_CPU von haus aus schon höher definiert ist.