Du musst das anders sehen: Der Kontakt auf einer Seite ist schon längst wieder auf 0, noch bevor Du die ISR verlassen hast. Denn der Encoder bleibt nicht auf 1, sondern geht gleich wieder auf null. Ich würds auf nen Versuch ankommen lassen...

Ansonsten mach doch einfach pro Seite einen Hochfrequenzzähler (also ich meine schneller als Atmel-Geschwindigkeit, z.B. einen 100MHz-Zähler) und Du guckst selbstständig alle paar Timeraufrufe auf den gezählten Wert.