So ich muss mich nochmal korrigieren. Ich habe gerade gelesen das alle Pins zunächst als Eingang deklariert werden. Also würde es mehr Sinn machen bei allen unbenutzen Pins die Pullups ein zu schalten um Strom zu sparen oder?
Da war ich wohl zu langsam

Korrekt - wenn Du bei einem unbenutzten Pin den PullUp aktiviertst, liegt er erstens auf einem definierten Pegel, und über die Summe aus PullUp (ca. 50 KOhm) und dem Eingangswiderstand (ca. 100 MOhm) fließt praktisch kein Strom. Du kannst sie natürlich auch auf Masse legen - dann fließt wirklich gar kein Strom. Aber das muss man halt schon wieder in der Hardware realisieren, z.B. beim Platinen-Design.