Wenn Du die ISP Pins (MOSI, MISO usw) beschalt hast, zB mit LEDs oder sonstwas, dann kann es sein, dass der Pegel nicht richtig erkannt wird, weil zu viel Strom fließt. Wenn es grenzwertig ist, geht es manchmal und manchmal nicht.
Also entweder andere Pins nehmen oder anders beschalten. Kannst ja mal die Schaltung posten.
Könnte aber auch ein Wackler an der Versorgung sein, oder...oder...
Gruß