Erstmal danke für die Antworten, die Fuses sind richtig gesetzt.

Nachdem ich den Port nochmal explizit auf Eingang gesetzt und die PullUps aktiviert habe gings dann.