Wenn der Selfprogramming-Schalter nicht betätigt wird, kann der ISP seine eigene firmware nicht zerschießen.

Bei deinem ISP kann man die Baudrate einstellen. Hast du das schon mal versucht? (Allerdings hat AVRprog ne automatische Baudratenerkennung. Aber versuch doch erst mal den Terinal xxyy Test mit 19200Baud.)