Aaah!
Ich habe den Fehler gefunden. Hoch lebe das debuggen!
Wenn man sich die Zustände des INT1-Pin ansieht, fällt einem vielleicht etwas auf... Wenn ich nämlich den INT-pin auf 0 ziehe, um die Taster auszulesen, wird danach ein Interrupt ausgelöst, wenn ich ihn wieder auf Eingang schalte, da er dann wieder vom gedrückten Taster auf 1 gezogen wird. So entsteht bei jedem Interrupt ein neuer.