Hallo,

1. Deine Erklärung
" OCR1A=128 2,5V"
ist komplett unverständlich. Welcher Zusammenhang bei Deiner Schaltung zwischen PWM und Spannung besteht, kann hier niemand wissen.
2. Einen "internen Quarz" hat keiner der AVRs.

Du wählst den Mode 3 mit TOP=0x3FF. Natürlich kannst Du Werte bis 1023 in OCR1A schreiben. Wenn TCNT1==OCR1A, dann wird die Zählrichtung geändert. Wenn Du alle 16 Bit ausnutzen möchtest, wähle Mode 11.

Falls Du Probleme mit dem AVR Studio hast: das ist ein bekannter Bug -- die 16 Bit Zähler funktionieren dort mit PWM nicht richtig.

Gruß

Fred