Große Dateien in den Speicher laden

[derDoc]

Ich stehe vor einem kleinen Problem:

Ich möchte eine Datei (1-2 GB) in teilweise in den Speicherladen, sodass ich jeweils immer mit einem Block arbeiten kann.
Leider gelingt mir das nicht so.

Die Blöcke sollen die Größe 9.728.000 Bytes haben. Leider will mein Delphi keine Arrays von dieser Größe erstellen (EStackOverflow). Gibt es eine andere Möglichkeit, diesen Block in den Speicher zu bekommen?

Welche Arten von Buffern können diese Mengen an Daten aufnehmen?

[dfried]

Ein TMemoryStream muesste das auf jeden Fall können, aber was willst du denn mit den daten machen bzw. wie sehen die Daten denn aus?

Gruß
Daniel

[derDoc]

Also die Daten sind ganz normale Dateien (binär). Ich möchte daraus dann einzelne Blöcke auslesen und hashen.

Kannst du das mit dem MemoryStream mal etwas genauer benennen?

[SirThornberry]

warum willst du die gesammte Datei in den Memory laden? Für diesen Zweck gibt es MemoryMapped files oder so ähnlich.

[dfried]

Nur so mal als kleines Beispiel:

Delphi-Quellcode:

var fs : TFileStream;
    ms : TMemoryStream;
    anz : Integer;
begin
  fs := TFileStream.Create(ExtractFilePath(Application.ExeName)+'XXX.zip',fmOpenRead);
  ms := TMemoryStream.Create;
  try
    while fs.Size > fs.Position do begin
      if (fs.Size - fs.Position) > 9728000 then
        anz := 9728000
      else
        anz := (fs.Size - fs.Position);
      ms.Clear;
      ms.CopyFrom(fs,anz);
      // Hier kannst du jetzt mit den Daten im Speicher etwas machen
      ....
    end;
  finally
    ms.Free;
    fs.Free;
  end;

Gruß
Daniel

[Olli]

Definitiv MMFs benutzen und jeweils den View verschieben!

Zitat:

Zitat von derDoc

Die Blöcke sollen die Größe 9.728.000 Bytes haben. Leider will mein Delphi keine Arrays von dieser Größe erstellen (EStackOverflow). Gibt es eine andere Möglichkeit, diesen Block in den Speicher zu bekommen?

Autsch :wall: ... du legst doch nicht etwa statische Arrays dieser Größe an? Da ist keineswegs Delphi schuld. Solche riesigen Dinger packt man niemals auf den Stack sondern immer auf den Heap. Also nicht auf Delphi fluchen, bitte!

[derDoc]

Gut, ich werde mir mal die Memory Mapped Files ansehen. Außerdem werde ich mal schauen, inwieweit ich die Blöckgröße weiter aufspalten kann.

Danke.