Durchaus machbar, was du vorhast. Eine Tonhöhe eines jedenfalls halbwegs sauberen Tons sollte sich durch Schmitttriggern der Schwingung und danach "Zählen" der Flankenwechsel pro Zeiteinheit per Mikrocontroller bewerkstelligen lassen.

Farben zu erkennen dürfte schon schwieriger sein. Möglicherweise liesse sich dies per Fototransistoren mit unterschiedlichen Farbfiltern bewerkstelligen, sofern man die zu erkennende Farbe genügen nah / genügend fokussiert auf die Transistoren kriegt. Ansonsten: Kamera. Eine einfache Möglichkeit wäre die Gameboy-Kamera. Diese nimmt zwar schwarz-weiss Bilder auf, aber man könnte auch hier mit Farbfiltern arbeitern. Andere Kameras dürften dann aber schon sehr anspruchsvoll zum ansteuern sein.