TBitmaps2Video

[Renate Schaaf]

Ich verfolge dieses Forum seit einiger Zeit passiv mit viel Vergnügen und habe nützliche Hinweise gefunden.
Jetzt möchte ich gern mein neuestes Projekt zur Diskussion stellen, eine Klasse, die es ermöglicht sequentiell Bitmaps zu einem Video zusammenzustellen. Ich kann mir vorstellen, dass die/der eine oder andere sowas gebrauchen kann. Die Klasse baut auf den Libav(ffmpeg)-dlls auf, aber mein Ziel war es, ein interface mit leicht und intuitiv verständlichen Prozeduren und Einstellungen herzustellen, ohne dass man sich um die etwas obskuren und technischen Prozeduren in den dlls kümmern muss.

Jetzt zu finden auf GitHub:
https://github.com/rmesch/Bitmaps2Video

Update:
Source code: Bitmaps2Video_3.zip
Es werden jetzt 7 Codecs unterstützt, m.E. die wichtigsten.
Das geänderte interface ist jetzt:

Delphi-Quellcode:

///<summary>Sequentially encode bitmaps to a compressed video. Uses Libav Dlls. </summary>
  TBitmapEncoder = class
.....
    /// <param name="filename"> Output filename. Extension picks the container format (.mp4 .avi .mkv ..)
    /// </param>
    /// <param name="Width"> Video size in pixels (multiples of 2)</param>
    /// <param name="Height"> Video size in pixels (multiples of 2)</param>
    /// <param name="FrameRate"> Frames per second (can be slightly off in the resulting file)</param>
    /// <param name="Quality"> Encoding quality, scale from 0 to 100. 0 gives marginally acceptable quality </param>
    /// <param name="CodecId"> (TAVCodecID see UFormats.pas) Identifier of the codec to use. AV_CODEC_ID_NONE picks the default codec for the file extension. </param>
    /// <param name="VideoScaling">Resample algo used if video size differs from bitmap size </param>
    constructor Create(const filename: string; Width, Height: integer;
      FrameRate: integer; Quality: byte; CodecId: TAVCodecId = AV_CODEC_ID_NONE;
      VideoScaling: TVideoScaling = vsFastBilinear);

    /// <summary> Turn a Bitmap into a movie frame </summary>
    /// <param name="bm"> Bitmap(TBitmap) to be fed to the video. Will be converted to pf32bit if not already </param>
    procedure AddFrame(const bm: TBitmap);

    /// <summary> Hold the last frame </summary>
    /// <param name="EffectTime"> Displaytime(integer) in ms </param>
    procedure Freeze(EffectTime: integer);

    /// <summary> Add a picture which is displayed for a certain time </summary>
    /// <param name="bm"> Bitmap(TBitmap) of the picture to be displayed </param>
    /// <param name="ShowTime"> Time(integer) in ms for the display </param>
    procedure AddStillImage(const bm: TBitmap; ShowTime: integer);

    /// <summary> Make a smooth transition from SourceR to TargetR within EffectTime.</summary>
    /// <param name="bm"> The Bitmap(TBitmap) to be animated </param>
    /// <param name="SourceR"> Beginning rectangle(TRectF) within rect(0,0,bm.width,bm.height) </param>
    /// <param name="TargetR"> End rectangle(TRectF) within rect(0,0,bm.width,bm.height) </param>
    /// <param name="EffectTime"> Duration(integer) of the animation in ms </param>
    /// <param name="ZoomOption"> Quality of the zoom (zoAAx2, zoAAx4, zoAAx6, zoResample). </param>
    /// <param name="SpeedEnvelope"> Modifies the speed during EffectTime. (zeFastSlow, zeSlowFast, zeSlowSlow, zeLinear) </param>
    procedure ZoomPan(const bm: TBitmap; SourceR, TargetR: TRectF;
      EffectTime: integer; ZoomOption: TZoomOption;
      SpeedEnvelope: TZoomSpeedEnvelope = zeLinear);

    /// <summary> Close the file and make the output file usable. </summary>
    function CloseFile: Boolean;

Audio wird jetzt rudimentär unterstützt:

Delphi-Quellcode:

  /// <summary> Combine the video stream from VideoFile with the audio from Audiofile. The streams will just be copied, not encoded.
  ///Audio is clipped to video length. Raises exception if the format of the audio file is not supported.</summary>
  /// <param name="VideoFile"> (string) File which contains a video stream. Any audio stream present will be ignored. </param>
  /// <param name="AudioFile"> (string) Genuine audio file (.wav .mp3 .aac) the audio of which shall be added to the video in VideoFile. </param>
  /// <param name="OutputFile"> (string) Name of the file containing the newly combined video and audio. </param>
procedure MuxStreams2(const VideoFile, AudioFile: string;
  const OutputFile: string);

Das Projekt benötigt die ffmpeg-dlls und die zugehörigen Pascal-Headers. Beides kann man hier bekommen:
http://www.delphiffmpeg.com/downloads/

Näheres im Readme, und in meiner Antwort unten.

Ich bin sehr an Verbesserungsvorschlägen interessiert, vor allem, wie man die Schreibgeschwindigkeit erhöhen kann, und wie man eventuell die vorhandenen Libav-Filter dafür benutzen kann, und auch an Vorschlägen, was man noch einbauen sollte.

Renate

[TurboMagic]

Nett, noch besser wäre es, wenn du deine Kommentare in XMLDOC Kommentare umbauen würdest.

Dann sieht man die auch beim drüberfahren mit der Maus über einen Aufruf.

[Renate Schaaf]

Zitat:

noch besser wäre es, wenn du deine Kommentare in XMLDOC Kommentare umbauen würdest

Das kannte ich noch gar nicht, aber ich finde die Möglichkeit großartig. Allerdings überschreiben die hints die Typen der Parameter, die habe ich dann per Hand wieder eingeführt, die Info finde ich eigentlich wichtig. Anscheinend kann ich das Upload im Original-Post nicht ändern, also schicke ich hier ein update mit.
Öhm, ich habe mich inzwischen erinnert, dass meine Klasse ja TBitmapEncoder heißt, aber ist ja egal.

Danke für den Tip!

Renate

[dummzeuch]

Welcher Datentyp von Video wird denn damit erzeugt?

Edit:

OK, Lesen bildet: Encoder is momentarily hardwired to H264

[TurboMagic]

Hallo,

falls die benutzte Bibliothek verschiedene Encoder bietet könnte man die ja per Property auswählbar herausführen...

Grüße
TurboMagic

[Renate Schaaf]

Habe ich auch vor, aber ich wollte erst mal was anbieten, das ich genug getestet habe. Welche Codecs sind denn für Euch interessant? Libav enthält so gut wie alle.

[dummzeuch]

Zitat von Renate Schaaf:

Habe ich auch vor, aber ich wollte erst mal was anbieten, das ich genug getestet habe. Welche Codecs sind denn für Euch interessant? Libav enthält so gut wie alle.

Für mich wäre im Prinzip MJPEG interessant, aber eigentlich haben wir sowas schon, insofern also auch wieder nicht.

[TurboMagic]

Was für ein Aufwand ist das Hinzufügen eines Encoders?
Muss man den dann parametrieren und ggf. diese Parameter von außen zugänglich machen?

[Renate Schaaf]

Zitat:

Muss man den dann parametrieren und ggf. diese Parameter von außen zugänglich machen?

Das wollte ich ja eigentlich vermeiden, aber wird sich wohl nicht vermeiden lassen Was willst du denn als user von so nem Encoder wissen? Wenn du so gestrickt bist wie ich, am liebsten gar nichts. Ich möchte vorschreiben können, wie und wie gut das Ergebnis aussieht, und das Resultat soll das richtige Format haben, wenn ich es weiter verarbeiten will.
Bisher funktionieren mpeg4 und mpeg1/2 ohne Probleme mit den gleichen Einstellungsmöglichkeiten. mjpeg habe ich auch probiert, der braucht aber ganz andere Einstellungen für die Qualität (bitrate macht gar nichts), und bis jetzt sieht das Ergebnis nur verpixelt aus. Am liebsten würde ich nur versuchen, alle unterstützten codecs so einzustellen, dass die Werte sinnvoll auf Qualität übersetzt werden.
Außerdem ist das Container-Format noch wichtig (.mp4, .mkv, .flv, .f4v, .avi ...) nicht jeder container unterstützt auch alle codecs.

Was wäre, wenn man so was wie TFormatOptions (record?) baute, das einem für das gewählte Container-Format die Codecs zur Auswahl anbietet, und Grund- Einstellungen. Die kann man dann dem Constructor übergeben. VLC-player hat so was, aber selbst da funktioniert es nicht immer. Leider bin ich kein so Experte, was dieses Video-Zeug angeht, ich wollte nur sowas haben, und nicht auf beim Endbenutzer installierte Codecs angewiesen sein.

Gruß, Renate

[himitsu]

Oder nimm dir als Beispiel ein anderes Programm.
7Zip und Dergleichen

Einmal das Format und dann noch die Qualität bzw. Geschwindigkeit (hier wäre es die Datenmenge)
Schnell/Klein, Normal, AmBesten ... z.B. in 1-5, 0-4, 0-9, 1-9 oder als Enum (1-5 bzw. 1-9 und in der Mitte das Normale ... 1=das kleinstmögliche=grad noch so erkennbar, über Mitte=Default=GutGenug für den Alltag, bis Groß=BesserGehtNimmer aka noch mehr lohnt eigentlich nicht sich nicht (selbst wenn noch mehr, gibt es keinen/kaum einen Unterschied)


Ich veruch für was was Anderes och 'ne "nutzbare" API zu erstellen ... Ergebnis ist in der Klasse eine "kleine" Anzahl der Wichtigsen/Allgemeinen Property und eine ConfigKlasse (welche im Prinzip nur sowas wie 'ne INI-artige StringListe ist) wo die SpezialDinge drin sind.

In deinem Fall:
* Datenformat
* Containerformat (mit gegenseitiger Prüfung, wenn man was Auswählt, dass das Andere nicht nuterstützt -> Exception oder "still" zutücksetzen (btw. das Ähnlichste nehmen)
* Oder ein CombiEnum aus Beidem = das ist "übersichtlicher"/verständlicher, aber es gibt natürlich paar Formate die dann doppelt/mehrfach vorkommen

* dann noch Qualität
* und vielleicht noch ein Limit (z.B. maximale Datenrate)

* und den Rest entweder als "offene" Liste oder je eine Properties-Klasse (Beispiel die Properties-Property bei DevExpress) für die einzelnen Formate (meine ListenKlasse hat eine Abfragefunktion was es "gerade" gäbe, weil ja für den Entwickler nicht "direkt" klar ist, was da jeweils möglich ist, so ohne Codevervollständigung)



Es ist nie einfach "verschiedenes" einheitlich rauszugeben.
Entweder du hast massenhaft Eigenschaften, die bei gewissen Typen ohne Funktion sind, weil es die da nicht gibt,
oder du hast nur eine kleine Anzahl der Gemeinsamkeiten (ohne Spezialfälle)
oder je nach Typ eine eigene Liste (SubKlassen --- in einem Property, den man erstmal casten muß, ala DevExpress oder TPicture.Graphic)
oder je nach Typ eine eigene Liste (SubKlassen --- in getrenten Property ala TPicture.Bitmap, TPicture.Icon, ....)
oder man hat Vieles doppelt und "immer" eingebaut (siehe ImageEn: für jeden Ausgabetyp zusätzlich in der Hauptklasse SpezialProperty ala .Mjpeg_Compression .Mp4_MaxDataRate, ...)
oder siehe der ConnectStr in vielen DB-Komponenten http://docwiki.embarcadero.com/RADSt...tion_(FireDAC)
usw.