Problem gibt es wenn Überlauf und ICP bzw. Int0 fast gleichzeitig auftreten.
Das kann ich mir eigentlich nicht vorstellen.
Auch wenn beide Interrupts wirklich absolut zeitgleich eintreffen wird von jedem ein Flag gesetzt.
Die Routine mit der höheren Priorität wird dann zuerst ausgeführt, die andere später.
Es gilt natürlich auch hier was sonst auch immer gilt - Interruptroutinen sollten möglichst kurz sein.

Ich denke eher, die Fehlmessungen kommen von der Mechanischen Seite her, wenn z.B. die LED nicht genau über die Fotodiode fährt und deshalb kein vernünftiges Signal zustande kommt.

Ich hab ein wenig rumgerechnet, bei 8MHz Controllertakt sollte die Unterscheidung der Frequenzen problemlos möglich sein.

Ich würds mit einer Periodendauermessung mit TCNT1 probieren, weil die am schnellsten ein Ergebnis liefert.