Alles klar, das Problem hat sich erledigt.
Da sowohl auf dem 328 als auch auf dem 328P der Bootloader vom Arduino drauf waren, waren die Fuses wohl dementsprechend gesetzt.
Nachdem ich noch einen 16MHz Quarz an den µC angeklemmt habe, habe ich endlich Zugriff auf die Chips per Steckbrett.
Jetzt ist mir echt ein Stein vom Herzen gefallen

LG
Ben