Wenn es funktioniert, solange das STK500 dranhängt, würde ich zunächst den Fehler dort suchen. Hast Du vielleicht irgendeine Masse nicht richtig angeschlossen, die dann über das STK500 kommt?
Du könntest auch mal zB 2k7Ohm von SCK und MOSI gegen Masse schalten.
Serienterminierung und PulUps wären schon der richtige Weg, wenn es um Reflexionen auf der Leitung geht. Das würde man mit einem Oszi gut sehen. Die können dabei so stark werden, dass sie sich biis auf die Versorgungsleitung bzw. Masse rückwirken.
Du könntest die Signale messen mit und ohne Busaktivität, wenn Du ein Oszi hast.
Gruß