Was das Programm macht, kommt drauf an, wie der Schalter angeschlossen ist, und wie die LED angeschlossen ist.

Wenn der Pin beim Drücken auf High geht, wird in der if der Pin auf Low gesetzt. Je nach dem, wie dann die LED angeschlossen ist (von Pin nach Masse oder von 5V nach Pin) leuchtet die LED dann oder nicht.

Also einfach mal die beiden Anweisungen austauschen oder die if-Anweisung negieren: if (!(PINC & (1<<PINC3)))