TFileStringList + TTextStream

[himitsu]

Achtung: In der aktuellen Fassung sind diese Codes (abgesehn von TTextStream) nur für Delphi 2009 oder neuer geeignet.


Joar, also von 'ner Weile hatte ich schonmal den TTextStream zur Diskusion freigegeben und nun kommt der Rest.

Die TFileStringList ist eine Art StringListe, nur daß sie die Daten nicht komplett im Arbeitsspeicher behalten muß.
Hiermit lassen sich also große Dateien sehr Speichersparend (zumindestens, was den RAM betrifft) öffnen und bearbeiten.

Für eine schnellere Textsuche wird/kann ein Hash über die Lines/Strings oder Names gelegt werden.

Zur Verwaltung wird eine Indexliste der Zeilen in einer temporären MMF angelegt und auch geänderte/neue Strings/Lines können in eine Tempdatei ausgelagert werden.

Ich hatte gestern nach auch mal einen Test durchlaufen lassen. (siehe nächsten Beitrag #2)

Gut, der Index ist nicht grade sehr speichersparend, da er 28 Byte pro Zeile belegt, was vorallem bei sehr kurzen Zeilen schnell mal mehr ergibt, aber davon verbleiben nur maximal 14 MB im RAM. (abgesehn von der WindowsFileCache)

Der TTextStream wurde, Aufgrund seiner gewachsenen Komplexität, aus der TFileStringList extrahiert und ist nun getrennt nutzbar.
Dieser bietet einen sequentiellen Zugriff auf alle mögliche Arten von Textdateien - Lesend oder Schreibend.

TTextStreamEx bietet dann noch ein paar Funktionalitäten, welche man von den alten Pascal-Textdateifunktionen kennt. (siehe TTextStream)

Die Temp-Dateien werden standardmäßig im Windows-Temp-Verzeichnis angelegt und sie werden so geöffnet, daß sie selbst beim Absturz des Programms automatisch von Windows gelöscht werden.

An Textdateien können alle möglichen Codierungen verwendet geladen und geseichert ... alles was TEncoding zu bieten hat.
(also nicht nur ANSI, wie bei den Pascalroutinen)

[himitsu]

Da neuerdings der Post #1 auf allen Seiten sichtbar ist ...
hier noch eine überlange Liste mit Testergebnissen.

Gut, abgesehn von reinen Unicodedateien, wo die Geschwindigkeit vergleichbar mit einer TStringList war, ist halbsoschnell garnichtmal so schlecht, wenn ich bedenke welcher Verwaltungsakt intern von statten geht und was die 1000 MB kleine Datei angeht ... ab ca. 200 MB reicht der RAM für eine TStringList kaum noch aus.
Mal sehn wie es sich zeitmäßig macht, wenn den internen TFileStringList-Lese-/Schreibcode komplett auf TTextStream umgestellt hab.
(Aber erstmal schauen ob TTextStream nun inzwischen wirklich fehlerfrei arbeitet)

Aktuell geht es auch erstmal um Funktionstests, als falls noch jemand Fehler entdeckt, welche mir entgangen sind.

Die TFileStringList wird auch noch etwas umgebaut, so daß dort intern dann auch der TTextStream verwendet wird.

Code:

----- 52.428 Zeilen - 1 MB Unicode -----
create TStringList: 16

TStringList.LoadFromFile: 16 (mem:2.411.792 max:4.640.072)

TTextStreamEx.ReadLine: 16 (max:680.696)

TFileStringList.LoadFromFile: 31 (mem:16.148.244 max:16.181.200)
TFileStringList.AssignToFile: 16 (mem:14.680.316 max:14.713.208)
(memory for index = 14.680.064 = 524.288 entries * 28)

Memory-Load: start=9.600 end=9.568


----- 524.288 Zeilen - 10 MB Unicode -----
create TStringList: 250

TStringList.LoadFromFile: 109 (mem:23.461.984 max:44.564.632)

TTextStreamEx.ReadLine: 297 (max:807.948)

TFileStringList.LoadFromFile: 328 (mem:29.360.324 max:29.393.280)
TFileStringList.AssignToFile: 281 (mem:14.680.316 max:14.713.208)
(memory for index = 14.680.064 = 524.288 entries * 28)

Memory-Load: start=9.600 end=10.592


----- 5.242.880 Zeilen - 100 MB Unicode -----
create TStringList: 2.938

TStringList.LoadFromFile: 1.266 (mem:243.269.728 max:453.116.056)

TTextStreamEx.ReadLine: 2.953 (max:807.948)

TFileStringList.LoadFromFile: 3.312 (mem:161.480.900 max:161.513.856)
TFileStringList.AssignToFile: 2.922 (mem:14.680.316 max:14.713.208)
(memory for index = 14.680.064 = 524.288 entries * 28)

Memory-Load: start=9.600 end=11.440


----- 10.485.760 Zeilen - 200 MB Unicode -----
create TStringList: 6.062

TStringList.LoadFromFile: 2.610 (mem:483.983.456 max:903.544.984)

TTextStreamEx.ReadLine: 5.891 (max:807.948)

TFileStringList.LoadFromFile: 6.547 (mem:308.281.540 max:308.314.496)
TFileStringList.AssignToFile: 5.907 (mem:14.680.316 max:14.713.208)
(memory for index = 14.680.064 = 524.288 entries * 28)

Memory-Load: start=9.600 end=12.400


----- 104.857 Zeilen - 1 MB Ansi -----
create TStringList: 93

TStringList.LoadFromFile: 32 (mem:4.889.060 max:8.165.916)

TTextStreamEx.ReadLine: 47 (max:505.912)

TFileStringList.LoadFromFile: 62 (mem:16.777.400 max:16.810.364)
TFileStringList.AssignToFile: 62 (mem:14.680.316 max:14.713.208)
(memory for index = 14.680.064 = 524.288 entries * 28)

Memory-Load: start=9.600 end=13.172


----- 1.048.576 Zeilen - 10 MB Ansi -----
create TStringList: 390

TStringList.LoadFromFile: 219 (mem:46.792.800 max:78.381.208)

TTextStreamEx.ReadLine: 375 (max:495.092)

TFileStringList.LoadFromFile: 718 (mem:35.651.780 max:35.684.744)
TFileStringList.AssignToFile: 625 (mem:14.680.316 max:14.713.208)
(memory for index = 14.680.064 = 524.288 entries * 28)

Memory-Load: start=9.600 end=13.940


----- 10.485.760 Zeilen - 100 MB Ansi -----
create TStringList: 4.515

TStringList.LoadFromFile: 2.484 (mem:483.983.456 max:798.687.384)

TTextStreamEx.ReadLine: 3.703 (max:510.520)

TFileStringList.LoadFromFile: 7.297 (mem:224.395.460 max:224.428.424)
TFileStringList.AssignToFile: 6.297 (mem:14.680.316 max:14.713.208)
(memory for index = 14.680.064 = 524.288 entries * 28)

Memory-Load: start=9.600 end=14.708


----- 104.857.600 Zeilen - 1000 MB Ansi -----
create TStringList: 37.359

TStringList.LoadFromFile: -1 (mem:-1 max:-1)

TTextStreamEx.ReadLine: 36.797 (max:508.984)

TFileStringList.LoadFromFile: 490.360 (mem:98.566.240 max:350.257.600)
TFileStringList.AssignToFile: 72.219 (mem:14.680.316 max:14.713.208)
(memory for index = 14.680.064 = 524.288 entries * 28)

Memory-Load: start=9.600 end=15.476

PS: der wachsende Memory-Load ist kein Speicherleck ... das ist nur der hier aufgeführte Text mit den Ergebnissen.

> LoadFromFile läd den Inhalt der Datei in die vorhandene StringListe
> AssignToFile verknüpft nur die Datei mit der Stringliste
Weswegen bei Ersterem auch soviel Speicher verbraucht wird.

PSS: für einen vollständigen Testlauf bräuchte man auf der Systempartition noch gut 3-4 GB an freiem Speicher, für den Index und die Tempdatei.