Also habe gerade noch mal geschaut und so wie ich es am anfang hatte, wurde die Interruptroutine IMMER 2 mal aufgerufen.
Habe es jetzt mal so ausprobiert das in der Interruptroutine ein Debouncebefehl steht der dann sofort weiterverweißt. Funktioniert komischerweise. Zwar nicht ganz die feine Art aber ist ja mal ein ansatz.