Ganz naiv würde ich mal sagen, dass du das Bild, dass deine Webcam liefert pixelweise ausliest. Wenn du dann dein Programm benutzen willst, könntest du ein erstes Bild von deinen Objekten machen und manuell auf dem Webcambild die zuerkennenden Farben markieren und so dem Programm die Farben beibringen. Du könntest so für jdede zu erkennende Farbe einen
RGB-Bereich festlegen. Liegt dann später ein Pixel in diesem Bereich, kannst du davon ausgehen, dass du etwas in dieser Farbe fotographiert hast.
Erwarte das Beste und bereite dich auf das Schlimmste vor.