Huch, sieht dieser Code komisch aus. Scheint am Compiler zu liegen
Also ich hab den Beispielcode benutzt der im Datenblatt von Atmel ist, hat einwandfrei funktioniert. Kommt denn überhaupt was an? Probier mal mehrere Zeichen zu übertragen, wenn Müll ankommt stimmt wahrscheinlich irgendwas mit der Frequenz nicht.
Btw, du hast daran gedacht dass man auf dem STK500 ein Kabel einstecken muss damit der UART tut? Sonst sind die Pins nicht verbunden ...