speichersparendes StringList.SaveToFile

[himitsu]

Ich hatte grad den Fall, daß eine StringListe mit nur 10928163 Zeilen (~1,8 GB Arbeitsspeicher)
sich nicht speichern ließ.

Der Grund war, daß SaveToFile (Strings/TStringList) erstmal alles zu einem einzigen String zusammensetzen und in neueren Delphis danach auch noch umkodieren will.

Da war es ja klar, daß dieses nicht nochmal in die verbleibenden ~200 MB reinpaßt.

Also wenn es mal wer braucht, gibt es hier eine speichersparende Alternative:

Delphi-Quellcode:

// nach dem Vorbild von Delphi 7
procedure SaveToStreamEx(Strings: TStrings; Stream: TStream);
var
  S: String;
  i: Integer;
begin
  try
    S := Strings.Text;
  except
    for i := 0 to Strings.Count - 1 do begin
      S := Strings[i] + sLineBreak;
      Stream.WriteBuffer(Pointer(S)^, Length(S));
    end;
    Exit;
  end;
  Stream.WriteBuffer(Pointer(S)^, Length(S));
end;

// nach dem Vorbild von Delphi 2009
procedure SaveToStreamEx(Strings: TStrings; Stream: TStream; Encoding: TEncoding = nil);
var
  Buffer, Preamble: TBytes;
  i: Integer; 
begin
  if Encoding = nil then
    Encoding := TEncoding.Default;
  Preamble := Encoding.GetPreamble;
  if Length(Preamble) > 0 then
    Stream.WriteBuffer(Preamble[0], Length(Preamble));
  try
    Buffer := Encoding.GetBytes(Strings.Text);
  except
    for i := 0 to Strings.Count - 1 do begin
      Buffer := Encoding.GetBytes(Strings[i] + sLineBreak);
      Stream.WriteBuffer(Buffer[0], Length(Buffer));
    end;
    Exit;
  end;
  Stream.WriteBuffer(Buffer[0], Length(Buffer));
end;

Es wird erstmal der "alte" Weg versucht und bei einer Exception (OutOfMemory) wird der andere Weg versucht.

Hier das Ganze dann nochmals nur über den speichersparenden Weg.

Delphi-Quellcode:

procedure SaveToStreamLowMem(Strings: TStrings; Stream: TStream);
var
  S: String;
  i: Integer;
begin
  for i := 0 to Strings.Count - 1 do begin
    S := Strings[i] + sLineBreak;
    Stream.WriteBuffer(Pointer(S)^, Length(S));
  end;
end;

procedure SaveToStreamLowMem(Strings: TStrings; Stream: TStream; Encoding: TEncoding = nil);
var
  Buffer, Preamble: TBytes;
  i: Integer;
begin
  if Encoding = nil then
    Encoding := TEncoding.Default;
  Preamble := Encoding.GetPreamble;
  if Length(Preamble) > 0 then
    Stream.WriteBuffer(Preamble[0], Length(Preamble));
  for i := 0 to Strings.Count - 1 do begin
    Buffer := Encoding.GetBytes(Strings[i] + sLineBreak);
    Stream.WriteBuffer(Buffer[0], Length(Buffer));
  end;
end;

Manchmal ist es ja effektiver den alten Weg zu nehmen, wenn es denn möglich ist.
z.B. bei TMemo, wo der Text schon im Ganzen in der Komponente daliegt und der zeilenweise Zugriff langsamer wäre.

[edit]
die Schleifenfariable in den 2009er-Versionen vergessen zu defineren