An dem geschriebenen sehe ich keinen Fehler, weiss allerdings nicht was du mit TCNT3H = 0xF0; meinst, sollte aber nicht relevant sein.
Das SIG_OVERFLOW3 ist schon veraltet, es würde aber dein Compiler anmeckern, neu ISR(TIMER3_OVF_vect).
Zeig mal den ganzen Code, der Fehler muss ja nicht in den fünf Zeilen liegen, da hättest du ihn doch schon selbst gefunden.