Die CMUCam wird dafür eine zu geringe Auflösung haben. Aber man kann ja auch eine gute WebCam oder so was in der Art benutzen. Für den PC gibts da ja eine ganze Menge.

In irgendeiner Liga des Roboterfussballs wird sowas gemacht. Da ist auch eine Kamera über dem Spielfeld angeordnet deren Bilder die beiden Teams zu Verfügung gestellt bekommen und danach ihre Roboter steuern können.
Das wäre im Prinzip fast genau das was du auch machen willst. Such einfach mal danach, es dürften sich eigentlich dazu noch ein paar Informationen finden lassen...

MfG Kjion