Du benutzt einen N-Mosfet. Um diese als Schalter zu benutzen, müssen sie direkt an GND.
Du könntest die Schaltung aber retten, indem du stattdessen ein P-Mosfet einlötest.

Gruß, Yaro