Bilder aus verschiedenen Perspektiven -> 3D

[OrallY]

In der aktuellen c't ist in Artikel über die das Forschungsinstitut von Microsoft. Dort wurde eine Methode entwickelt, wie beide Gesprächspartner sich direkt in die Augen gucken können (nennt sich i2i).
Dabei würde jeweils rechts und links vom Bildschirm eine Webcam aufgestellt. Die beiden Bilder zeigen das gleiche Objekt, aber aus leicht unterschiedlichen Perspektiven. Diese leichte Unterschied wurde ausgenutzt um ein drittes Bild zu berechnen, welches das Gesicht direkt von Vorne zeigt.

Kann mir jemand erklären, wie das funktioniert und/oder hat entsprechende Links parat?

[dizzy]

Im Grunde ist das "simple" Stereovision
Aus dem Unterschied der beiden Bilder kann man (in Grenzen) die Lage von markanten Punkten im Raum bestimmen, und an Hand dieser information eine angenäherte räumliche Darstellung erreichen. Das große Problem ist dabei aber herauszufinden welche Punkte nun markant sind, und ob und WO dieser Punkt in dem einen Bild seinen Partner im anderen Bild hat. Das ist ein ziemlich schwieriges Unterfangen, aber wenn man das ein mal hat, dann lassen sich auf Basis dieser Infos die echten bildlichen Inhalte sinnvoll verschmelzen. (Warping oder wirklich 3D mit Texturierung - müsste beides gehen.)

Die University of Manchester hatte mal ein super Programm entwickelt, das an Hand eines gefilmten Videos eine Szenerie erstaunlich gut als 3D-Punkteansammlung erstellen konnte - incl. der Kamerabewegung. Das Verfahren nennt sich dann Motiontracking, oder Videotracking. Leider gibt es das Programm nicht mehr als Freeware (ICARUS hieß es), da es von keine Ahnung welcher Firma aufgekauft wurde, die das wohl professionell weiter entwickeln wollen.
Aber das Prinzip dieses Programmes könnte man auch dazu nutzen um das von Dir genannte umzusetzem.
Aber für mal eben zum selber proggen, oder allein schon ansatzweise zu proggen ist das ganz deutlich zu heftig. Hinter solchen Verfahren steckt meist (sehr) höhere Mathematik und viiiiel Zeit

Aber ich hoffe ich konnte dir ein paar hilfreiche Ansatzpunkte nennen.

gruss,
dizzy

[OrallY]

Ja, ein paar Ansatzpunkte hast du mir liefern können und mir nebenbei jede Illusion genommen, sowas selbst mal zu programmieren . Aber das dacht ich mir schon, dass es nicht so einfach ist.
Hast du vielleicht Literatur zum Thema parat?

[dizzy]

Leider nichts Konkretes. Aber Google gepaart mit ein paar guten Suchbegriffen könnte hier und da ein paar Sachen auftun. Die Masse wird aber sicher nur in Englisch vorliegen.
Begriffe wären: icarus, video/camera-tracking, tracking, eyetracking, 3d usw. usf. Wenn man ein mal eine Seite gefunden hat, fallen einem bestimmt weitere Suchbegriffe ein

Da das aber kein Thema von sooo großem allgemeinen Interesse ist, muss man sicherlich etwas "wühlen".

gruss,
dizzy

btw: Ich hatte mal ein kleines Tool geschrieben, bei dem man zwei Fotos aus leicht anderer Richtung nebeneinander hatte, und die Schlüssenpuntke von Hand setzen musste. Diese mussten dann noch vom Benutzer zu sinnvollen Dreiecken verbunden werden, und schon konnte man ein (sehr rudimentäres) 3D-Modell exportieren - eben weil Punkte, die weiter hinten im Raum liegen auf Grund der Perspektive auf einer stereoskopischen Aufnahme näher zusammen liegen als die weiter vorne. Bei Videos kann man das noch so erweitern, dass die Punkte vorne sich relativ schneller bewegen als die hinten. Das eigentliche Problem ist es aber überhaupt an diese Punkte zu kommen! Deshalb musste das bei mir der User machen, weil ein Mensch erkennt recht gut einzelne Stellen über den Kontext wieder. Das einem Programm akkurat beizubringen ist schon etwas heftiger. Und zu dem bei Fotos wohl gaaanz deutlich einfacher als bei Videos - und um diese geht's ja
(Das Proggy hab ich leider nicht mehr - war auch schon alt und nur "um's mal auszuprobieren". Nutzbar konnte man das net nennen *g*)

[OrallY]

Ok, werd mich mal umgucken. Aber ist vielleicht ne Nummer zu groß .
Schade, dass du das Prog nicht mehr hast.