Bilderkennung

[Popov]

Wenn man sich so anguckt was Google so bei seiner Bildersuche bietet - und die ist schon gut - dann könnte man sich da paar Ideen rauspicken. Also nochmal, ich weiß nicht wie sie das machen, aber man kann da schon was erkennen.

Zuerst einmal erkennt Google mehr oder weniger die Farbe des Bildes. Also ein Bild besteht natürlich aus vielen Farben, aber es tendiert in eine Richtung, z. B. da gibt es viel grün, oder gelb oder rot. Dann ist das Bild eben grün, gelb oder rot. Sucht man ein Gesicht und wählt die Farbe Lila, tendiert das Bild in diese Richtung.

Ein Baum hat zum Beispiel einen braunen und grünen Klecks. Der Braune ist unter dem Grünen. Das könnte schon mal ein Anzeichen für einen Baum sein. Es könnte aber auch ein Afrikaner mit einem grünen Pullover sein, der einen Handstand macht.

Ich denke (ich denke, ich weiß es nicht), dass Google die Bilder reduziert. So kann man schneller Bereiche erkennen. Nehmen wir an du hast ein Bild 1000 x 1000 Pixel und ein Bild 300 x 300 Pixel. Du vergleichst jetzt aber nicht die Pixel miteinander, sondern reduzierst das Bild zuerst auf 10 x 10 Pixel. Sind sich die Bilder ähnlich, sollten die reduzierten Bilder auch ähnlich sein. Evtl. sogar gleich.

[Namenloser]

Ich glaube, dass Google mehrere Ansätze kombiniert.

1. Ein Algorithmus um identische ("pixelgleiche") Bilder (oder Teilbilder) zu finden.
2. Verschiedene Algorithmen um basierend auf Farbe, Helligkeitsverteilung usw. "ähnliche" Bilder zu erkennen. Da merkt man auch immer sofort, dass die Ergebnisse deutlich schlechter sind als bei 1.
Und 3. dürfte Google auch die Ergebnisse aus der "Vorwärts"-Bildersuche mitberücksichtigen. Das heißt, Google wird sich (bei bekannten Bildern) wohl angucken, bei welchen Suchworten das eingegebene Bild in der normalen Google-Bildersuche am häufigsten auftaucht und dann andere Bilder aus seiner Datenbank heraussuchen, die sich viele Suchworte mit dem Quellbild teilen.

Wenn es sehr eindeutig ist, gibt Google ja sogar einen vorgeschlagenen Suchbegriff aus, dann steht da z.B. "Vermutung für dieses Bild: Afrikaner, der Kopfstand macht".

Ich denke, dass Google vor allem durch den letzten Punkt deutlich bessere Ergebnisse liefern kann als Mitbewerber wie z.B. Tineye, obwohl es die schon länger gibt.

[BUG]

Zitat von Popov:

Wenn man sich so anguckt was Google so bei seiner Bildersuche bietet - und die ist schon gut - dann könnte man sich da paar Ideen rauspicken.

Das was die Google-Suche bietet, würde ich klar als Multimedia-Retrieval einstufen ... wenn man da ein Stichwort für die weitere Recherche sucht.

Die Frage von Finki würde ich eher als maschinelles Lernen einordnen (obwohl die Themen durchaus Berührungspunkte haben).
Allerdings ist die Aufgaben-Stellung ("Finde etwas, was auf beiden Bildern vorhanden ist und nenne es 'Baum'.") auch für einen Menschen nicht wirklich einfach

[Medium]

Gerade bei derart generischen Begriffen wie "Baum", "Haus", "Auto" usw. wird es eher etwas für einen Science Fiction Autor als einen Entwickler. Namenlosers dritter Punkt erledigt dabei einen sehr wesentlichen Beitrag: Es stellt einen Kontext zu einem Bild her, ohne dass Objekte im Bild direkt erkannt werden müssen. Eine riesige Hürde die dort via Datamining geschickt genommen wird, für einen Nicht-Googleaner aber kaum erreichbar ist.

Das best mögliche, was man ohne Forschungsteam im Rücken imho noch ganz gut schaffen könnte, wäre eine Ähnlichkeitsanalyse zweier Bilder (bzw. Teilbilder). Das alleine ist schon richtig übel harter Tobak. Den Schwung zum gesprochenen/geschriebenen Wort würde ich mir weit hinten ans ToDo packen, noch hinter Doktor der Mathematik werden und solchen Dingen

Zu Fourierdeskriptoren: Die sind auch nicht immer so einfach einsetzbar. Man braucht schon einen gewaltigen Pre-Processing Schritt um gewünschte Objekte vorab zu isolieren, da man sie dann noch vektorisieren muss. Und aus Bitmaps dann noch z.B. einen generischen Baum heraus zu bekommen... ich glaube das ist nicht wirklich ein Königsweg, weil das Pre-Processing ja dann schon das erledigen müsste, was man mit dem FD erreichen will.

[Finki]

okay das klingt ja alles schon ziemlich interessant. und ich verstehe auch das es schwer ist. ich will nur mal wissen wie es überhaupt im ansatz progtrammiert wird und was der hintergedanke/die logik ist. Sagen wir ich habe eine landschafts, mit sonnenuntergang, aufnahme und nun wioll ich das mir mein programm den horizont mit einer grünen linie nachfährt. wie wird das gemacht?

[Neutral General]

Zitat von Finki:

Sagen wir ich habe eine landschafts, mit sonnenuntergang, aufnahme und nun wioll ich das mir mein programm den horizont mit einer grünen linie nachfährt. wie wird das gemacht?

Ich denke mal das sollte nicht mal so schwer sein wenn du dich auf Sonnenuntergänge bzw. Horizonte beschränkst. Mit einem Kantenerkennungsalgorithmus kann man da vllt was machen. Oder meistens hat der Himmel ja einen anderen Farbton als der Rest davor. Das sollte man sicher auch ganz gut abgrenzen können.

Kann dir aber ohne selbst nachzuschauen keine konkreten Algorithmen nennen.

Edit: Mir ist grad der "Zauberstab" aus Photoshop in den Sinn gekommen.
Floodfill eines Gebiets solange benachbarte Pixel sich vom Farbton nur zu einem gewissen Teil unterscheiden. Angefangen wird bei einem geeigneten Pixel im Horizont. Die Pixel bei denen das Floodfill terminiert weil ein benachbarter Pixel zu sehr abweicht ist dann wahrscheinlich die Grenze zum Horizont.

[Finki]

Zitat von Neutral General:

Zitat von Finki:

Sagen wir ich habe eine landschafts, mit sonnenuntergang, aufnahme und nun wioll ich das mir mein programm den horizont mit einer grünen linie nachfährt. wie wird das gemacht?

Ich denke mal das sollte nicht mal so schwer sein wenn du dich auf Sonnenuntergänge bzw. Horizonte beschränkst. Mit einen Kantenerkennungsalgorithmus kann man da vllt was machen. Oder meistens hat der Himmel ja einen anderen Farbton als der Rest davor. Das sollte man sicher auch ganz gut abgrenzen können.

Kann dir aber ohne selbst nachzuschauen keine konkreten Algorithmen nennen.

Okay, aber hier hab ich ja wieder das Problem das ich nicht weiß wie amn soetwas programmiert, bzw was es für möglichkeiten gibt!

[Neutral General]

Siehe mein Edit oben:

Zitat:

Edit: Mir ist grad der "Zauberstab" aus Photoshop in den Sinn gekommen.
Floodfill eines Gebiets solange benachbarte Pixel sich vom Farbton nur zu einem gewissen Teil unterscheiden. Angefangen wird bei einem geeigneten Pixel im Horizont. Die Pixel bei denen das Floodfill terminiert weil ein benachbarter Pixel zu sehr abweicht ist dann wahrscheinlich die Grenze zum Horizont.

[Popov]

Zitat von Medium:

Das best mögliche, was man ohne Forschungsteam im Rücken imho noch ganz gut schaffen könnte, wäre eine Ähnlichkeitsanalyse zweier Bilder (bzw. Teilbilder). Das alleine ist schon richtig übel harter Tobak.

Ich hab weiter vorne die Idee mit der Verkleinerung des Bildes erwähnt. Die Idee ist nicht aus den Fingern gesogen. Ich hab mal vor einiger Zeit Tests durchgeführt wie man Bilder am einfachsten vergleichen kann. Pixel für Pixel war die schlechteste Idee, da in Zeiten von Jpeg sich kaum ein Bild gleicht. Man muss die Bilder vereinheitlichen. Ich hab das gemacht in dem ich sie stark verkleinerte. Was bleib waren lediglich Abdrücke. Ich hab dann die Abdrücke verglichen. Und die waren bei mir 10 Pixel breit (oder hoch).

Hier ein Beispiel. Im Anhang gibt es zwei Bilder. Bild 1 ist das Originalbild, Bild 2 ist dem ersten Bild nachgezeichnet. Es ist ganz anders, hat aber eine gewisse Ähnlichkeit zum ersten Bild. Mit Pixelvergleich kommt man da nicht weiter. Dann gibt es da noch die Abdrücke (eigentlich 10 Pixel hoch, ich hab sie aber wieder vergrößert). Man erkennt die Ähnlichkeit der Abdrücke. Jetzt muss man noch eine gewisse Toleranz einbauen und schon erkennt man, dass Bild 2 dem Bild 1 ähnlich ist.

Wie gesagt, das Eine ist der Abdruck des einen Bildes, das Andere, die des zweiten Bildes. Eine gewisse Ähnlichkeit ist ja da.

[Finki]

Jungs des sind viele informationen und auch echt gut. Aber mich würde auch interessieren wie man si was programmiert