Schneller Webcam Stream?

[Zacherl]

Hey,

ich möchte einen möglichst ruckelfreien Webcamstream erzeugen. Momentan verschicke ich periodisch einzelne JPEG Bilder. Je nach Internet Anbindung bleibt allerdings eine Verzögerung von bis zu 2 Sekunden zwischen zwei Einzelbildern bestehen.
Gibt es da eine geschickte Lösung, um das Problem zu umgehen?

Viele Grüße
Zacherl

[Bernhard Geyer]

Zum Browser mit aktuellen HTML-Techniken? Denkbar ungeeignet. Hier wäre vermutlich ein Stream zu einer Flash-Instanz besser.

[Namenloser]

Puh, also ich glaube, das ist eine Wissenschaft für sich. Im Grunde brauchst du dafür ja einen Videocodec.

Ein erster Schritt wäre schon mal, das Bild z.B. in 8*8 Pixel große Felder zu zerteilen und jeweils prüfen, ob sich im Vergleich zum vorherigen Bild etwas verändert hat (mit Toleranz natürlich). Wenn nicht, wird dieser Block einfach schwarz, wodurch es sich durch JPEG effizienter komprimieren lassen sollte (8 Pixel ist hier optimal, weil das JPEG-Raster auch 8 Pixel groß ist). Oder man trickst irgendwie so, dass man die entsprechenden Blöcke komplett rauslöscht. Dann shickt man vor oder nach jedem Bild noch eine Bitmap mit, in der vermerkt ist, welche Pixel geändert wurden.

Der nächste Schritt wäre dann noch Bewegungserkennung, Stichwort Prädiktive Kodierung.

Aber wie gesagt, einfach ist das sicher nicht. Vielleicht gibt es ja auch freie Videostream-Codecs, die du verwenden kannst?

[Zacherl]

Also der Stream soll von meinem Serverprogramm zu meinem Clientprogramm geschickt werden.

@NamenLozer:
Puh das klingt alles ziemlich aufwändig. Gibt es eventuell eine Methode MPEG2 oder sowas für meine Zwecke zu verwenden?

[igel457]

Das einfachste, das mir einfällt, ist mit ffserver einen Videostream aufzusetzen. Verwendest du OGG Theora oder H264 könntest du diesen Stream eventuell mittels HTML5 "<video>" direkt im Browser wiedergeben.

[Zacherl]

Ich möchte den Stream wie gesagt gerne in meinem Clientprogramm anzeigen, ohne auf einen Browser zurückgreifen zu müssen. Fremdkomponenten sind okay aber externe Programme würde ich gerne vermeiden.

[himitsu]

Zitat von Zacherl:

aber externe Programme würde ich gerne vermeiden.

Wie gesagt, im Grunde mußt du estmal die Datenmenge verringern, je weninger Daten, desto schneller bekommst du sie rüber.

Nur die Veränderungen zu übertragen wäre da schon ein großer Fortschritt
und auch die Video-Codecs machen im Prinzip auch nichts anderes.

[igel457]

Zitat von Zacherl:

Ich möchte den Stream wie gesagt gerne in meinem Clientprogramm anzeigen, ohne auf einen Browser zurückgreifen zu müssen. Fremdkomponenten sind okay aber externe Programme würde ich gerne vermeiden.

Naja, dann kannst du zum Beispiel Acinerella oder gleich FFMpeg nehmen um den Videostream zu dekodieren.

[Zacherl]

Für Desktop Screenshots habe ich mal das Differenzbild Verfahren verwendet, wo die gleichbleibenden Teile einfach schwarz übertragen werden. Die Schwierigkeit ist halt die Toleranz, die NamenLozer erwähnte.
Ich habe absolut keine Idee, wie ich so eine Prüfung mit Toleranz überhaupt und dann noch einigermaßen ressourcenschonend implementieren könnte. Neuronale Netze erscheinen mir dafür etwas zu groß dimensioniert oder?

@igel457:
Das Acinerella schaue ich mir mal an. Die Codierung muss natürlich auch unterstüzt werden.

[blackfin]

Das Problem ist weniger der Client als der Server, der den Stream auch "artgerecht" als RTP/RTMP oder RSP verschicken kann.
Dafür gibt es mehrere Lösungen, den RED5 Server, ffmpeg oder den Wowza-Server.
Mit letzterem habe ich neulich erst rumexperimentiert und es ging ziemlich gut, damit einen H264 RTMP-Stream auf ein iPhone direkt zu streamen.

Stream-Fähige Clients gibts genügend, aber wie gesagt, das A und O ist der Server. Ohne Stream-Codierung kannst du es eigentlich vergessen.