Textdatei laden - Integerüberlauf

[Bbommel]

Die Frage ist ja, was du mit dieser riesigen Datei anstellst. Ist es nötig, die komplett in den Speicher zu laden? Oder könntest du sie auch zeilenweise durchgehen und dafür z.B. einen TStreamReader benutzen?

Edit: Ach so, noch vergessen: ich vermute, dass der Fehler vielleicht auch gar nicht direkt in dem LoadFromFile bei dir auftritt, sondern in dem Code dazwischen, den du jetzt hier nicht gezeigt hast, weil du mit einem Integer durch die Zeilen oder Zeichen der StringList gehst oder irgendwas berechnest? Schau doch mal mit dem Debugger, wo der Fehler tatsächlich passiert. Das LoadFromFile selbst würde dir nämlich eher einen vollen Speicher melden, keinen Integerüberlauf (so meine Erfahrung mit zu großen Dateien).

[Dalai]

Zitat von Bbommel:

ich vermute, dass der Fehler vielleicht auch gar nicht direkt in dem LoadFromFile bei dir auftritt, sondern in dem Code dazwischen, den du jetzt hier nicht gezeigt hast, weil du mit einem Integer durch die Zeilen oder Zeichen der StringList gehst oder irgendwas berechnest? Schau doch mal mit dem Debugger, wo der Fehler tatsächlich passiert.

Dieser Vermutung und der Empfehlung kann ich mich vollumfänglich anschließen.

Grüße
Dalai

[KWin]

Ich denke auch, dass es nicht möglich ist via TStringlist eine so große Dateien zu laden.

Wenn mann sich die Procedure in System.Classes ansieht dann ist
beim Integer Schluss mit lustig.

Delphi-Quellcode:

procedure TStrings.LoadFromStream(Stream: TStream; Encoding: TEncoding);
var
  Size: Integer;
  Buffer: TBytes;
begin
  BeginUpdate;
  try
    Size := Stream.Size - Stream.Position;
    SetLength(Buffer, Size);
    Stream.Read(Buffer, 0, Size);
    Size := TEncoding.GetBufferEncoding(Buffer, Encoding, FDefaultEncoding);
    SetEncoding(Encoding); // Keep Encoding in case the stream is saved
    SetTextStr(Encoding.GetString(Buffer, Size, Length(Buffer) - Size));
  finally
    EndUpdate;
  end;
end;

Am Code dazwischen liegt es definitiv nicht.
ich werde das ganze umbauen und versuchen mit TStreamReader zu realisieren.

Danke für euer bemühen,
ich werde hier posten, wie ich es gelöst habe.

lg Klaus

[KWin]

Habe das ganze mit TStreamReader gelöst.
Ich durchsuche viele Logfiles mit unterschiedlicher Dateigröße.
Wenn die Datei >= 1073741824 Bytes ist verwende ich den TStreamReader,
ansonsten die TStringList, welche wesentlich schneller ist.

hier mein Codeausschnitt

Delphi-Quellcode:

var
  StreamReader : TStreamReader;
  sLine : string;
  iLine : integer;


begin
  try
    StreamReader := TStreamReader.Create(LogFileName);
    iLine := 0;

    while not StreamReader.EndOfStream do begin
      Inc(iLine);
      sLine := StreamReader.ReadLine;


    // ..
    // ..
    // ..


    end;
  finally
    FreeAndNil(StreamReader);
  end;

end;

[Uwe Raabe]

Zitat von KWin:

Wenn die Datei >= 1073741824 Bytes ist verwende ich den TStreamReader,
ansonsten die TStringList, welche wesentlich schneller ist.

Aber deine Datei ist doch gar nicht so groß:

Zitat von KWin:

ich versuche mit einer StringList eine relativ große Text-Datei (1*265*819*892 Bytes) zu laden

1*256*819*892 = 187.020.288

[Dalai]

Zitat von Uwe Raabe:

Zitat von KWin:

ich versuche mit einer StringList eine relativ große Text-Datei (1*265*819*892 Bytes) zu laden

1*256*819*892 = 187.020.288

[Korinthe] 1*265*819*892 Bytes = 193.595.220 Bytes [/Korinthe] Ändert aber natürlich nichts an der Größenordnung. Wichtige Teile des Codes fehlen, daher ist eine Beurteilung nicht sinnvoll möglich, woran es genau klemmt.

Grüße
Dalai

[Jasocul]

Ich vermute, dass 1*265*819*892 Bytes eigentlich 1.265.819.892 Bytes heißen soll und der * nur der Verdeutlichung dienen sollte.

[KWin]

Ich habe es ausprobiert,
wenn die Datei > wie MaxInteger/2 ist (1073741824) dann tritt bei StringList.LoadfromFile
der Fehler Integerüberlauf auf. Ich vermute mal, dass Delphi für jedes Character 2 Bytes benötig.

[Sherlock]

Zitat von KWin:

Ich vermute mal, dass Delphi für jedes Character 2 Bytes benötig.

Je nach Encoding gerne auch mal vier Byte. Das liegt aber nicht an Delphi: https://de.wikipedia.org/wiki/UTF-8#Allgemeines

Sherlock

[himitsu]

Die Datei wird ja quasi mehrfach in den Speicher geladen
* erstmal in einem Puffer
* dann nochmal als Unicode umkopiert
* und zum Schluss nochmal jede Zeile als einzelner String

Die ersten Beiden Zeile sind ein Block und müssen demach auch in einen "goßen" freien Speicherblock
und erfahrungsgemäß wird es ab 700 MB oft nahezu unmöglich im fragmentieren Speicher noch was zu finden.

Lösung: mit 64 Bit kompilieren

Oder Zeilenweise einlesen, entweder über eine passende Streamingfunktion oder mit den alten AssignFile+ReadLn,
aber selbst das wird nicht gehen, denn die Strings sind zwar kurze Zeilen-Stückchen,
die sich im Speicher gut verteilen, aber Dank Unicode sind es dann über 2 GB,
womit du dann die 4GB-Option aktivieren {$SetPEFlags IMAGE_FILE_LARGE_ADDRESS_AWARE} ,
so dass du dann bis fast 4 GB (64 Bit Windows), bzw. 3 GB (32 Bit Windows) zur Verfügung hasthättest. (abzüglich geladener EXE, DLLs usw.)




Das "richtige" Verfahren ist aber nicht ALLEs zu laden, sondern solche großen Dateien nur stückchenweise in mehreren Blöcke á einigen KB/MB aufgeteilt zu laden und nacheinander zu behandeln.