Optimierung von Pixel

[Zacherl]

Zitat von EWeiss:

Daher verstehe ich auch nicht wie da ein Buffer Overflow entstehen sollte.

Hier SetLength(Buffer, BUFFER_SIZE); // Reserviert Speicher für 159x Single/Float und hier BASS_ChannelGetData(Channel, Pointer(Buffer), BASS_DATA_FFT512); // Schreibt 256x Single/Float in den Buffer

[Medium]

Zitat von Zacherl:

Zitat von EWeiss:

Daher verstehe ich auch nicht wie da ein Buffer Overflow entstehen sollte.

Hier SetLength(Buffer, BUFFER_SIZE); // Reserviert Speicher für 159x Single/Float und hier BASS_ChannelGetData(Channel, Pointer(Buffer), BASS_DATA_FFT512); // Schreibt 256x Single/Float in den Buffer

Schreibt das nicht sogar 512 Bytes? Die letzten 256 sind zwar eine Spiegelung der ersten, aber eigentlich gehören sie dazu. Ich weiss nicht genau wie die Bass.dll das handhabt. Aber 160 Bytes sind definitv zu wenig, egal wie.

[EWeiss]

Zitat von Zacherl:

Zitat von EWeiss:

Daher verstehe ich auch nicht wie da ein Buffer Overflow entstehen sollte.

Schreibt 256x Single/Float in den Buffer[/DELPHI]

korrekt!

Aber ich verwende davon nur 160 Floats.
Es dürfte doch kein Problem sein aus einem Array nur so viele Einträge zu verwenden wie man sie benötigt
vorausgesetzt ich verwende nicht mehr wie enthalten sind.

wo entsteht bei dieser Konstellation ein Überlauf ?

Zitat:

Schreibt das nicht sogar 512 Bytes? Die letzten 256 sind zwar eine Spiegelung der ersten

Nein


gruss

[Uwe Raabe]

In deinem Fall kann Scanline seinen eigentlichen Vorteil gar nicht richtig ausspielen. Mit ScanLine kann man sehr schnell eine ganze Zeile des Bitmaps bearbeiten. Dein Code arbeitet aber spaltenorientiert, weswegen du immer nur ein Pixel der jeweiligen Scanline änderst und beim nächsten Aufruf bereits eine andere Scanline brauchst.

Eventuell kannst du noch etwas Performance herausholen, wenn du die Scanlines cached:

Delphi-Quellcode:

var
  ScanLines: TArray<PRGBTriple>;


  { nach Zuweisung von Bitmap.Height werden die Scanlines im Array mit der ersten Spalte initialisiert }
  SetLength(ScanLines, BitMap.Height);
  for I := 0 to Length(ScanLines) - 1 do begin
    ScanLines[I] := Bitmap.ScanLine[I];
  end;

  { statt SetPixel }
  aColor := HSLtoRGB(H, S, L); // hier könnte man noch etwas herausholen, wenn direkt die RGB-Werte zurückgegeben werden.
  P := ScanLines[BUFFER_SIZE - i];
  P^.rgbtRed := GetRValue(aColor); // dann spart man sich hier wieder das auslesen
  P^.rgbtGreen := GetGValue(aColor);
  P^.rgbtBlue := GetBValue(aColor);

  { nach Inc(ColumnCounter) werden die ScanLine-Pointer um eine Spalte weiter gerückt. }
  for I := 0 to Length(ScanLines) - 1 do begin
    Inc(ScanLines[I]);
  end;

Vorausgesetzt, es gibt eine Prozedur procedure HSLtoRGB(H, S, L: double; out R, G, B: Byte); könnte der relevante Code etwa so aussehen:

Delphi-Quellcode:

  SetLength(ScanLines, BitMap.Height);
  for I := 0 to Length(ScanLines) - 1 do begin
    ScanLines[I] := Bitmap.ScanLine[I];
  end;
  while BASS_ChannelIsActive(Channel) <> BASS_ACTIVE_STOPPED do
  begin
    BASS_ChannelGetData(Channel, Pointer(Buffer), BASS_DATA_FFT512);
    for i := 0 to BUFFER_SIZE - 1 do
    begin
      Value := SQRT(SQRT(Buffer[i]));
      H := 0 + Value / 1.5;
      L := Value;
      P := ScanLines[BUFFER_SIZE - i];
      HSLtoRGB(H, S, L, P.rgbtRed, P.rgbtGreen, P.rgbtBlue);
    end;
    for I := 0 to Length(ScanLines) - 1 do begin
      Inc(ScanLines[I]);
    end;
    Progress := trunc(100 * (BASS_ChannelGetPosition(Channel, BASS_POS_BYTE) / BASS_ChannelGetLength
          (Channel, BASS_POS_BYTE)));

    if (Form2.ProgressBar1.position <> Progress) then
    begin
      Form2.ProgressBar1.position := Progress;
      PB.Refresh;
    end;
  end;

Wenn nicht schon geschehen, solltest man auch mal die Basiszeit der Analyse ermitteln, die sowieso verbraucht wird ohne in das Bitmap zu schreiben.

[Uwe Raabe]

Übrigens: Der Buffer-Overflow schlägt gnadenlos auf das Scanlines-Array zu. Der Code funktioniert nur, wenn man SetLength(Buffer, 256); verwendet.

[HeZa]

Hallo,

ich habe jetzt nicht alle Einträge zu diesem Thread gelesen, von daher mag mir etwas entgangen sein und erschwerend kommt vielleicht noch hinzu das ich keine großen Erfahrungen mit Bitmap-Manipulationen habe, aber ich finde der Hinweis von Uwe ist nicht ausreichend gewürdigt worden:

Zitat von Uwe Raabe:

In deinem Fall kann Scanline seinen eigentlichen Vorteil gar nicht richtig ausspielen. Mit ScanLine kann man sehr schnell eine ganze Zeile des Bitmaps bearbeiten. Dein Code arbeitet aber spaltenorientiert, weswegen du immer nur ein Pixel der jeweiligen Scanline änderst und beim nächsten Aufruf bereits eine andere Scanline brauchst.

Wenn Performance über alles geht, mach es nach diesem Hinweis nicht Sinn, die Bitmap um 90 Grad gedreht zu erzeugen, um die volle Leistungsfähigkeit von Scanline auszunutzen, um sie dann als Ganzes oder in Stücken um -90 Grad gedreht anzuzeigen?

[EWeiss]

Zitat von HeZa:

Hallo,

ich habe jetzt nicht alle Einträge zu diesem Thread gelesen, von daher mag mir etwas entgangen sein und erschwerend kommt vielleicht noch hinzu das ich keine großen Erfahrungen mit Bitmap-Manipulationen habe, aber ich finde der Hinweis von Uwe ist nicht ausreichend gewürdigt worden:

Zitat von Uwe Raabe:

In deinem Fall kann Scanline seinen eigentlichen Vorteil gar nicht richtig ausspielen. Mit ScanLine kann man sehr schnell eine ganze Zeile des Bitmaps bearbeiten. Dein Code arbeitet aber spaltenorientiert, weswegen du immer nur ein Pixel der jeweiligen Scanline änderst und beim nächsten Aufruf bereits eine andere Scanline brauchst.

Wenn Performance über alles geht, mach es nach diesem Hinweis nicht Sinn, die Bitmap um 90 Grad gedreht zu erzeugen, um die volle Leistungsfähigkeit von Scanline auszunutzen, um sie dann als Ganzes oder in Stücken um -90 Grad gedreht anzuzeigen?

Nein weil jede einzelne Zeile (Spalte) direkt gerendert wird.
Das ist nicht der Fall wenn ich das Bitmap vorher drehe.
Ich würde es erst dann sehen wenn es fertig befüllt ist.

In dem Fall muss ich leider etwas von der Performance wegnehmen Visualisierungs bedingt.

gruss

[Zacherl]

Zitat von EWeiss:

Aber ich verwende davon nur 160 Floats.
Es dürfte doch kein Problem sein aus einem Array nur so viele Einträge zu verwenden wie man sie benötigt
vorausgesetzt ich verwende nicht mehr wie enthalten sind.

Das ist alles korrekt. Du darfst zu wenig lesen, aber du darfst nicht zu viel lesen und ebenfalls nicht zu viel schreiben. Aber genau das zu viel Schreiben passiert beim BASS_ChannelGetData(Channel, Pointer(Buffer), BASS_DATA_FFT512) Aufruf.

Zitat von Medium:

Schreibt das nicht sogar 512 Bytes? Die letzten 256 sind zwar eine Spiegelung der ersten, aber eigentlich gehören sie dazu.

Laut Dokumentation werden mit dem FFT512 Parameter 256 Floats geschrieben, also 1024 Bytes.

Nach eine generelle Frage:
Würde es nicht mehr Sinn machen, nur die ersten paar Sekunden zu visualisieren und danach on-demand jeweils die nächsten paar Sekunden ab aktueller Abspielposition?

[Medium]

Zitat von EWeiss:

Aber ich verwende davon nur 160 Floats.

Du ja, aber die Bass.dll der du genau diesen Buffer zum rein Schreiben gibst schert sich nicht darum. Mit dem Parameter "BASS_DATA_FFT512" forderst du explizit 256 (danke für die Klärung) Werte (Floats) an, und so viele schreibt die DLL dann auch. Völlig egal auf welche Länge das übergebene Array gesetzt wurde. (Genau genommen weiss die DLL nichtmals, dass es ein Array ist. Nur, dass sie ab Speicheradresse X (=Pointer(Buffer), aber das weiss nur dein Code, nicht die DLL) seine 256 Floats schreiben darf. Dass sie das auch wirklich darf, das ist in deinem Verantwortungsbereich.)

[EWeiss]

Zitat:

Dass sie das auch wirklich darf, das ist in deinem Verantwortungsbereich.)

Ah ok jetzt weiß ich was ihr meint.
Ich bin nur von meinem Code ausgegangen die Bass.dll hat mich dabei weniger interessiert
Gut das macht die Profis (Informatiker) aus.

Letztendlich habe ich mich nur um meinen Code gekümmert so das dieser Fehlerfrei läuft.
Wie oder ob die Bass.dll das abfängt liegt nicht in meinem ermessen.

Zumindest werden keine Exception geworfen.

Zitat:

Übrigens: Der Buffer-Overflow schlägt gnadenlos auf das Scanlines-Array zu. Der Code funktioniert nur, wenn man SetLength(Buffer, 256); verwendet.

Habe ich bedacht..
Und ja wird verwendet.

SetLength(Buffer, BUFFER_SIZE);

Zitat:

Würde es nicht mehr Sinn machen, nur die ersten paar Sekunden zu visualisieren und danach on-demand jeweils die nächsten paar Sekunden ab aktueller Abspielposition?

Das mache ich ebenfalls schon nur nicht in diesen Code vom Spectrogram.
Ich möchte nicht zur Laufzeit in Realzeit Rendern sondern erst das komplette Bitmap erstellen deshalb dieses Example.

Also ich möchte erst sehen wie das Spectrogram aussieht und dann mit "LineTo" anzeigen wo man sich gerade an welcher Position im Stream befindet.
Mit einem Loop könnte man dann später einen bestimmten Bereich immer wieder spielen. (Dafür muss ich aber vorher schon sehen wo ich mich befinde)

Realzeit Render, was ich nicht möchte

Delphi-Quellcode:

        begin
          OffsetX := 2; // normal 256x512
          for i := 0 to pred(Height) do
          begin
            MagLn := round(Sqrt(FFTData[i + 1]) * 3 * Width);
            k := Height - i - 1;

            x := BuffBMP.ScanLine[k];

            if bRTLScroll then
            begin
              //copy original scanline
              Move(x[OffsetX], x[0], (Width - OffsetX));

              //draw new pixels
              for m := 0 to pred(OffsetX) do
                x[Width - OffsetX + m] := MagLn;
            end
            else
            //Left to right
            begin
              //copy original scanline
              Move(x[0], x[OffsetX], (Width - OffsetX));

              //draw new pixels
              for m := 0 to pred(OffsetX) do
                x[m] := MagLn;
            end;
          end;
        end;

Zitat:

Eventuell kannst du noch etwas Performance herausholen, wenn du die Scanlines cached:

Werde ich mir mal genau anschauen.. Danke für den Code

Ich könnte das Bitmap noch verkleinern\zusammenschrumpfen und zusätzlich noch interpolieren
Aber ich möchte jedes Pixel sehen (etwas fürs Auge) und nicht alles zusammenstauchen nur damit es auf dem Bitmap beliebiger länge passt.

Mir ist auch klar das ich nur die ersten 512 Blöcke verwende und diese nicht den gesamten Frequenzbereich zurückgeben.
Deshalb kann ich für 44100 Hz, den Bereich von 22,5 kHz bis 0 (Nyquist-Transformation) nicht anzeigen.
Aber das sind bekannte Probleme.
Wichtiger ist erst mal die Performance (Geschwindigkeit)

Andere frage kann es sein das ScanLine nicht richtig funktioniert
weil das Spectrogram vertikal zeichnet und ScanLine horizontal arbeitet?

gruss