ICL7660 ist keine Gate Treiber, sondern eine Ladungspumpe, ist es vielleicht ein ICL7667 ?

Mit dem ICL7667 als Gate Treiber ist die Geschwindigkeit kein Problem. Eine weitere Fehlerquelle wäre die Versorgungsspannung - der FET sollte die Gleiche Spannung wie der Gate Treiber bekommen, nicht mehr.