Naja, also: "Ich hänge..." ist jetzt nicht so aussagekräftig...
Außerdem ist das Thema ja wieder ne ganz andere Hausnummer.

- Was geht denn schon, und was geht nicht?

- Welches Programm benutzt du für das senden/empfangen von Daten auf dem PC? Ein Terminalprogramm? Oder baust du die ne grafische Oberfläche mit VisualBasic, C++ oder Java?
- Sendest du Bytes, einzelne Character oder ganze Strings?

Zeichen kann man auf dem ATMega mit dem "inkey()"-Befehl von der seriellen Schnittstelle einlesen. (auch hier hilf wieder die BASCOM-Hilfe)
Man macht einfach eine Schleife die mit "inkey()" die Zeichen einliest bis eine '0' empfangen wird. In der Hilfe ist ein Bespiel dazu.

Auf dem PC kommt es eben drauf an mit welchem Programm du senden und empfangen willst. Da kann ich jetzt nix aus der Luft greifen.

Das mit dem "eigenen Protokoll" ist das kleinste Problem. Da du ja auch beliebige Strings senden kannst, sind Befehle wie: "SWITCH_LIGHT_ON", "MOTORSPEED_70", oder was immer dir Freude macht möglich.
Nur ein Tipp falls du die Daten über Funk senden möchtest: Halte die Kommandos so kurz wie möglich. Mit jedem Zeichen steigt die Wahrscheinlichkeit eines Übertragungsfehlers. Das kann bei einem gestörten "MOTOR_STOP"-Kommando böse enden...