Einzelnen Beitrag anzeigen

shmia

Registriert seit: 2. Mär 2004
5.508 Beiträge
 
Delphi 5 Professional
 
#9

Re: Textdatei schnell verarbeiten

  Alt 9. Dez 2004, 16:29
Zitat von Jörn:
Ich möchte große Textdateien (bis 10 MB oder größer) zeilenweise nach einem String durchsuchen. Wenn dieser in einer Zeile vorhanden ist, soll die Zeile in ein StringList kopiert werden.
Nur wenn die Daten in grossen Blöcken (min. 64 kb) in den Speicher gelesen werden, kann die
Suche schnell vonstatten gehen.
Die Variante mit readln scheidet damit aus, weil immer nur sehr kleine Datenmengen eingelesen werden;
dass bringt viel Overhead mit sich.
Die Arbeit mit TStringlist geht recht fix und angenehem, hat aber den Nachteil, dass sehr grosse Dateien (> 100 MB) grosse Speicher Resourcen verbraten.
Am Schnellsten:
Datei mit TFileStream öffnen, grosse Blöcke (64kb bis 4 MB) mit BlockRead einlesen.
Den Block mit einem schnellen Suchverfahren durchsuchen (Boyer-Moore).
Beim Einlesen des nächsten Blocks muss man aufpassen und per Seek einige Bytes zurückpositionieren.
Andreas
  Mit Zitat antworten Zitat