Ganz einfach, du musst den Port auf LOW (0) setzen damit die Led leuchtet weil du sie mit Vorwiderstand an +5V angeschlossen hast.

>Wie kann ich aber machen das bei einem Schalter eine andere LED aufleuchtet?

vielleicht so:
PORTB=PIND <<1;