Ich habe mit einem AT89C2051 angefangen. Ist übrigens kein AVR, sondern gehört zu den 8051. Ich hab damit angefangen, weil ich damals nichts anderes kannte. Unterlagen sind Datenblatt vom Hersteller und suchen bei google (nicht gleich nach der 1. Seite aufgeben) nach Projekten mit diesem µC, zB

http://members.nusurf.at/peters.page/controller.htm

Vom AT89C2051 bin ich dann auf AT89C4051 (größeres Flash) und dann auf einen AT90S2313. Der 2313 ist ein AVR und im Gegensatz zum 2051 die "Befreiung"
-- Es gibt eine viel größere Auswahl an (kostenlosen und leistungsfähigen) Entwicklungsumgebungen, zB für C (avr-gcc), BASIC (BASCOM), Assembler (AVRStudio, avr-as), und Programmierkabel/adapter von einfach/selbstbau bis kompliziert/kauf.
-- AT89C2051 und ATtiny2313 (Nachfolger des AT90S2313) haben gleiches Pinout (Ausnahme: RESET hat andere Polarität) und Footprint (DIL20).
-- 2313 hat internes EEPROM
-- 2313 ist in system programmierbar (ISP)
-- 2313 @ 16MHz ist etwa 8 mal (!) schneller als ein 2051 @ 24 MHz.
-- 2313 ist ein AVR, es ist recht einfach, auf größere AVRs umzusteigen, wenn es auch AFAIK kein Analogon zum AT89C4051 gibt.

Für den Anfang wichtig ist eher, daß man gut Informationen/Beispielprojekte/Software findet und das Teil nicht zu teuer und gut beschaffbar und einfach ist. Das ist alles für den AT89C2051 gegeben (für den 2313 übrigens auch).

Nachteile sind wie gesagt fehlende ISP und damit extra Prog-Adapter. Daher muss man den Käfer zum Proggen aus der Zielschaltung zupfen (bzw. sich nen aufwändigen Umschalter bauen). Geproggt hatte ich in Assembler, und selbst den musste ich bezahlen. Eine Freude, damit zu arbeiten, war es nicht (sowohl vom asm-Dialekt/Instruktionssatz als auch was die IDE angeht).

Um mit einem 2313 anzufangen, reichen dir 10€ (Selbstbau-Progger, Hardware, Steckbrett, Software).