Du wirst doch irgend ein Steckernetzteil haben das eine Gleichspannung zwischen 7 und 20V bringt. Damit wird es sicher funktionieren. Oder du machst dir einen Resettaster, dann geht es mit großer Sicherheit auch, das hast du ja schon mit deinem GND - Reset überbrücken festgestellt. Es knickt wahrscheinlich nach dem Power-On die Spannung noch einmal ein und der Kontroller verrennt sich irgendwo.
Abhilfe könnte auch das aktivieren der Brown-Out-Detection schaffen.
Die Kondensatoren gehören alle so hin wie sie sind, es ist keiner zuviel.