WinAVR: http://sourceforge.net/projects/winavr
AVRStudio: http://www.atmel.com
DevCpp (IDE): http://www.bloodshed.net/dev/devcpp.html
ISP-Programmer: gibts ne Menge einfache Schaltungen im Netz, hier vor kurzem auch eine USB-Version (einfach suchen nach USP ISP)
JTAG: JTAG ist eine ziemlich geniale Schnittstelle zum in-system debuggen. Leider gibt es m.W. das JTAG nur von Atmel und das ist *ziemlich* teuer. Wenn du wirklich ernsthaft & viel machst sicher eine Überlegung wert.

Andere Compiler wie WinAVR halte ich nicht für empfehlenswert (ich verwende ICC-AVR und bin davon alles andere als begeistert ...)