Wenn es mit internem Oszillator funktioniert und nach dem ändern der Fuses nicht mehr, dann ist was in deiner Hardware falsch.
Zeig vielleicht auch mal ein Foto von deinem Aufbau.