Leider verstehe ich das Problem auch nicht ganz.

Ich habe erfolgreich einen NintendoDS ueber UART an den RP6 angeschlossen. Die Kommunikation funktioniert. Allerdings brauchte ich dazu zunaechst nur GND, RX und TX.

Ich vermute stark, das das Problem durch "unsachgemaessen" Pegel auf DTR zustande kommt.
Vielleicht solltest Du auch mal etwas ueber die Funktionsweise von Bootloadern recherchieren. IMHO ein undefinierter (falscher) Pegel auf DTR kann den RP6 glauben machen, das er neu geflasht werden soll. In diesem Zustand kann er natuerlich nichts senden.
Durch ein Reset (ausgeloest beim Beenden deines Programms) startet der RP6 das geflashte Programm und ist nun auch in der Lage zu senden und zu empfangen.
Warum der Pegel auf DTR allerdings falsch ist, kann ich nicht sagen. Evtl. eine Eigenheit von Windows im Zusammenspiel mit dem USB->Seriell Adapter.

HTH
Kay