Hallo,
was ginge ist erstmal einen anderen Farbraum zu verwenden.
HSV zum Beispiel.
Und dann Kanten detektion. Danach nahe beieinandern liegende Kantenteile zu einer Fläche verbinden.
"Unter" dieser Fläche via Histogramm die Häufigkeit von Farben prüfen. Ansonsten halt gleich die Formen der Flächen ermitteln.