Abrauchen wird der Controller wohl nicht, aber es werden evtl. recht hohe Ausgleichströme fließen.

Verhindern kann man das ganz einfach:
Man verbindet die 5V-Leitung des ISPs nicht mit dem Board.

Gruß,
askazo