32 Bit, TStringList, Textdatei mit 30Mio. Zeilen

[hoika]

Hallo,
übrigens bekomme ich die Datei unter XE4 64-Bit auch nicht per StringList.LoadFromFile auf (*wunder*)

Über dem Umweg per AssignFile(TextFile) und TStringList konnte ich immerhin 19 Mio Einträge erzeugen,
ohne "out of memory", 30 habe ich aber.

Nachdem jetzt meine TLargeStringList benutze, bekomme ich die Datei wenigstens auf ...

Und nochmal: Es ging mir erstmal darum, den Algorithmus möglichst nicht zu ändern.

Das .Text wird übrigens für ein Pos benutzt,
das könnte ich zur Not natürlich auch als Schleife machen,
fällt mir gerade auf, dann geht der Verbrauch nicht so hoch.
Gleich mal bauen ...


Heiko

[BUG]

Zitat von hoika:

Und nochmal: Es ging mir erstmal darum, den Algorithmus möglichst nicht zu ändern.

Zitat von Sir Rufo:

Kann er nicht wirklich, es sei denn er baut sich auch noch einen virtuellen String-Typen, denn

Zitat von hoika:

Hallo,
an einer Stelle wird leider StringList.Text verwendet -> Puff.

Imho sollte das das Erste sein was du ändern solltest, falls du mal Zeit/Geld für die Pflege übrig hast

[Sir Rufo]

Zitat von BUG:

Zitat von hoika:

Und nochmal: Es ging mir erstmal darum, den Algorithmus möglichst nicht zu ändern.

Zitat von Sir Rufo:

Kann er nicht wirklich, es sei denn er baut sich auch noch einen virtuellen String-Typen, denn

Zitat von hoika:

Hallo,
an einer Stelle wird leider StringList.Text verwendet -> Puff.

Imho sollte das das Erste sein was du ändern solltest, falls du mal Zeit/Geld für die Pflege übrig hast

War ja mein Gedanke

Zitat von Sir Rufo:

Wenn du nur sequentiell durch die Zeilen gehst, wäre da ein TEnumerable<string> nicht ausreichend?

Wer kein Generics hat, der baut sich eben ein TStringEnumerable

[hoika]

Hallo,

hm, ich benutze TextKurz (gerade geprüft), also brauche ich das .Text, also den kompletten String gar nicht.


Heiko

[Uwe Raabe]

Zitat von hoika:

übrigens bekomme ich die Datei unter XE4 64-Bit auch nicht per StringList.LoadFromFile auf (*wunder*)

Auch unter 64 Bit ist der Speicherplatz für einen String auf 2 GB beschränkt, was ca. 2^30 Zeichen entspricht. Da beim Laden, wie auch beim Zugriff auf .Text, der gesamte Inhalt als String verwurstet wird, hat man hier eine natürliche Grenze erreicht. Die StringList könnte unter 64 Bit wohl noch mehr Daten aufnehmen, dann müssen die aber zeilenweise mit Add hinzugefügt werden. Alles, was den Inhalt als einen einzigen String betrachtet (Load, Save, Text, ???) darf dann nicht benutzt werden.

[hoika]

Hallo Uwe,

hm?
64 Bit ist stärker als 32 Bit !!!

Hast du einen Infolink dazu ?


Heiko

[Uwe Raabe]

Zitat von hoika:

64 Bit ist stärker als 32 Bit !!!

Hast du einen Infolink dazu ?

Klar!

String-Typen (Delphi)

Interne Datenformate (Delphi) - Lange String-Typen

Die Länge in Zeichen eines Strings ist in x32- und x64 in den 4 Byte vor dem Inhalt abgelegt. Das allein beschränkt den String auf theoretisch maximal 4 Giga-Zeichen. Die max. ~2 GB Speicher sind eine Beschränkung des/der Compiler.

[hoika]

Hallo,
netter Link, oha ...
also .Text nicht verwenden.

Danke!


Heiko

[Luckie]

Ich verbitte mit den Missbrauch meines Namens (Puff)! In der DP macht eine StringListe nicht so einfach "puff"!

[hoika]

Hallo,
dann eben Argzzz


Heiko