Dazu dient die MPI-Software. Die nutzt die Netzwerkverbindung um zwischen Programmen zu kommunizieren und kann als Bibliothek eingebunden werden.
Ich hab damit noch nicht gearbeitet, aber das sieht nicht allzu schwer aus.
Es gibt einen ganz guten Wikipedia-Artikel.
Zum Vergleich auch mal fork anschauen. Fork produziert geklonte Kindprozesse. Nach dem Prinzip kann man EIN Programm schreiben, dass parallel verschiedene Aufgaben erledigt (allerdings auf einem Rechner).