Atmega Familie bei PWM mehr als 256 Stufen möglich???

[sternst]

... dann hab ich gedacht den Prescaler auf 1024 einstellen das er auch bis 1024 zählt.

Hä?
Der Prescaler legt fest, wie schnell der Timer läuft, mit dem "bis wo" hat er nicht das geringste zu tun.

Außerdem zweifle ich stark an deiner Verteilung der WGM-Bits auf die Register.