Wenn ich das im Datenblatt richtig verstanden habe, braucht der Interrupt 4 Taktzyklen bis die ISR aufgerufen wird. Das kritische ist aber wohl die Ausführungsdauer der ISR, und die hängt von der Qualität Deines Codes ab.
Was treibst Du denn alles in der ISR und wie hoch ist Deine Taktfrequenz?

askazo