Hast du auch die neueste Version von AVR Studio 5? Die vorherigen Beta-Versionen hatten einige Bugs. Evtl. gibt es Probleme im Zusammenhang mit anderer installierter Software. Wenn eine Neuinstallation von AVR Studio nicht hilft, würde ich dir empfehlen, weiterhin AVR Studiio 4 zu verwenden oder Windows 7 zu besorgen.