Du solltest das Pin-Change-Interrupt-Flag nach der Initialisierung löschen. Wahrscheinlich ist das Flag durch einen floatenden Eingang bereits gesetzt, und dann wird nach dem sei sofort der Interrupt ausgelöst.