Deine ISR gibt doch gar kein 36kHz-Signal aus, statt dessen ist der Pin jeweils 880µs lang 0 oder 1. Die ISR müsste eher so aussehen:
Code:
ISR(TIMER1_COMPA_vect)
{
    if ((rc5_state & 0x40) == 0x40)
    {
        RC5_SEND_TOGGLE;
    }
    else
    {
        RC5_SEND_OFF;
    }
}
Außerdem müsstest du das Intervall für die ISR halbieren, denn für ein 36kHz-Signal musst du den Pin ja mit 72kHz toggeln.

ABER: Wie andere schon sagten, es wäre viel sinnvoller das 36kHz-Signal direkt vom Timer erzeugen zu lassen, und dann entsprechend einfach ein- und auszuschalten.