Die PWM Funktion läuft normalerweise im Timer 1 des ATMEGA32 und erwartet dort Werte zwischen 0 und (2^16)-1 für 0 bis 100% Duty Cycle.
Wenn Du also deine Formel mit einem Multiplikator von (2^16/100) versiehst sollte das eigentlich passen, obwohl ich den zweiten Teil deiner Formel nicht ganz verstehe.