Hi enoritz!
Hast Du den Reset-Pin des AVR's richtig beschaltet, also auch mit dem ISP?!