Textdatei schnell verarbeiten

[shmia]

Zitat von Jörn:

Ich möchte große Textdateien (bis 10 MB oder größer) zeilenweise nach einem String durchsuchen. Wenn dieser in einer Zeile vorhanden ist, soll die Zeile in ein StringList kopiert werden.

Nur wenn die Daten in grossen Blöcken (min. 64 kb) in den Speicher gelesen werden, kann die
Suche schnell vonstatten gehen.
Die Variante mit readln scheidet damit aus, weil immer nur sehr kleine Datenmengen eingelesen werden;
dass bringt viel Overhead mit sich.
Die Arbeit mit TStringlist geht recht fix und angenehem, hat aber den Nachteil, dass sehr grosse Dateien (> 100 MB) grosse Speicher Resourcen verbraten.
Am Schnellsten:
Datei mit TFileStream öffnen, grosse Blöcke (64kb bis 4 MB) mit BlockRead einlesen.
Den Block mit einem schnellen Suchverfahren durchsuchen (Boyer-Moore).
Beim Einlesen des nächsten Blocks muss man aufpassen und per Seek einige Bytes zurückpositionieren.