Nur anhand der Farbe. Man sollte dazu eine Webkamera haben, die einigermßen farbtreu ist. Mit meiner alten Logitech Messenger war es relativ störbehaftet, mit der neuen Pro 4000 geht's viel besser. Es gibt relativ viele wissentschaftliche Artikel, die Farbe als Hauptmerkmal für die Gesichtslokalisation beschreiben.
Ich habe als Referenzvektor einfach die mittlere Gesichtsfarbe verwendet. Das funktionierte einigermaßen gut, wenn sich die Beleuchtung nicht alzu stark ändert.
Um die Farbe zu extrahieren, habe ich einfach die Beleuchtung im HSV Raum normiert, so wie in der ASURO-Lokalisation https://www.roboternetz.de/phpBB2/vi...er=asc&start=0

Mit Deinem Aufbau müsstet Du eigentlich ganz gut ein Gesicht verfolgen können ...