35 Taktzyklen für eine ISR sind definitiv zu wenig, normalerweise werden dabei 32 Register gepusht und nachher gepopt + 6 Takte für Rücksprungadresse auf den Stack, Sprung ausführen, ...
Also nur damit eine leere ISR abgearbeitet wird vergehen schon mal doppelt soviele Takte wie überhaupt bis zum nächsten Interrupt zur Verfügung stehen.

mfg