Hallo,
Als erstes fällt mir auf, daß Du Deinem Schaltplan nach einen NPN Transistor als Treiber für die IR-Sendediode an PB3 (OC1A) verwendest (Wie hoch ist der Wert des Basisvorwiderstandes?). Schau mal in der Bascom Hilfe zu RC5SEND. Dort wird ein PNP Transistor verwendet. In Deinem Setup wird deshalb das IR-Signal invertiert gegenüber dem richtigen RC5 Signal ausgegeben.

aber irgendwie haut mein code nicht hin
... hört sich an wie "geht nicht" und ist keine besonders gute Fehlerbeschreibug

Gruß
Searcher