Extrem grosse Textdatei durchsuchen

[GetMyNameEx]

Hi!

Habe eine (und damit mehrere :) ) extrem grosse Textdatei (100-500MB), in der ich die Häufigkeit einer bestimmten Zeichenfolge ermitteln will. Bei 200MB und dem Laden der Datei in eine TStringList, die anschliessend durchsucht wird dauert das ganze ca. 5Minuten (die Zeichenfloge wurde ca. 200.000 mal gefunden). gibt es keine möglichkeit das ganze schneller durchzuführen?

Zusatzfrage:
Wie leg ich mich am besten an wenn ich die Datei in mehrere aufteilen will, wobei in jeder (Teil-)Datei die Zeichenfolge x-mal drin vorkommen soll?

MfG,
Frank

[CK_CK]

Du könnstest z.B. vorher
StringList.BeginUpdate;
und danach
StringList.EndUpdate;
ausführen. Das bringt schon etwas Geschwindigkeit...

Ansonsten arbeite doch mit einer Datenbank...

[Klaus01]

Hallo Frank,

vielleicht findest Du in diesem Thread einige Ansätze: http://www.delphipraxis.net/internal...ghlight=suchen

Grüße
Klaus

[TBx]

Oder wie wäre es hiermit?

Gruß

onlinekater

[Luckie]

Zitat:

Zitat von CK_CK

Du könnstest z.B. vorher
StringList.BeginUpdate;
und danach
StringList.EndUpdate;
ausführen. Das bringt schon etwas Geschwindigkeit...

Eine StringListe ist eine nicht visuelle Komponente, was für ein Fenster willst du da nicht neu zeichnen?

[CK_CK]

Zitat:

Zitat von Luckie

Eine StringListe ist eine nicht visuelle Komponente, was für ein Fenster willst du da nicht neu zeichnen?

Ups... Hab's mit ListBox verwechselt... :stupid:

[Hador]

Ich würde vmtl. mit FileOpen, FileRead und FileClose arbeiten.

[GetMyNameEx]

Vielen Dank für die schnellen und hilfreichen Antworten.
Dadurch konnte ich die 'Suchzeit' auf etwa die hälfte verkürzen!

[HERMES]

Also eine StringList ist da sicherlich eine sehr suboptimale Lösung. Mit Hador schon sagte mit FileOPen und co. wirst du einiges schneller sein, und zum durchsuchen der Daten wenn du sie dann mit ReadFile gelesen hast wäre der KMP oder der Boyer-Moore Algorithmus sicherlich nicht ungeeignet.