Versuch mal mit dem AVR Studio (kostlos auf der atmel homepage)
dein hex file in den AVR zu laden.
dort kannst du deine ISP frequenz runter schrauben.
die muß glaube ich 6 oder 9 mal niedringer sein als der controller takt.
weiss nicht ob das bei ponyprog auch geht.
gruß