Kann es sein das die rc5.h nicht richtig eingebuden ist wenn sie nirgend im makefile erwähnt wird?
Da in einem Headerfile kein Quellcode zum kompilieren steht, gibts auch kein Kompilat.

Schließ mal ne LED am Port B an und in der INT0 ISR setzt du dann den Port auf Output. Wenn die LED nach einem Tastendruck leuchtet, dann funktionieren schon mal die Interrupts korrekt und der Fehler liegt wo anders.

mfg