Also.
Hab heut Morgen mal wieder die Hardware gecheckt. Spannungsversorgung ist an allen ICs ok (4,8-4,9V). Darauf hin hab ich mal die Schaltpläne vom NIBObee rausgekramt und bin die Pfade der IR-LED mal nachgegangen. Beim Verwendung des Tutorialsprogramms wurden ordnungsgemäß die IR LEDs eingeschaltete (Hab das mit meiner Digicam überprüft: Danke an Rabenauge). Danach hab ich die Analogeingänge am uC and denen die Photodioden angebracht sind überprüft. Auch hier ist meiner Mrinung nach alles in Ordnung. Wenn ich den Reflexionsgrad des Untergrund ändere verändert sich die Spannung an den Eingängen deutlich und logisch (von ca. 1,7 - 0,6 Volt). Also it in diesem Pfad mal alles bene.
Leider kann ich die Frequenzen nicht überprüfen, da ich kein Ossi hier hab. Werd das aber am Montag im Labor mal in Angriff nehmen. Aber wenn die auch stimmen kann es ja eigentlich nur noch am uC liegen aber ich weiß beim besten Willen nicht was da schief gegangen ist.

@bantyy: Ich glaub dir wenn du sagst, dass mit dem uC kann nicht sein. Aber was soll ich denn noch machen. Es funzt ja fast garnichts. Auch die serielle Schnittstelle (was mit den Plänen und dem Code im Netz wirklich kein Problem ist) geht nicht. Alles in allem steh ich sehr ratlos da.