Auf riesige .txt dateien zugreifen

[o0o]

hi leutz, ich bin auf der suche nach einer moeglichkeit auf riesige .txt-dateien zugreifen zu koennen ohne dass das ewig mit dem laden dauert^^

also ich habe zum test jetzt 20mb txt dateien verwendet und bin zum entschluss gekommen dass wenn ein memo nicht bei zb 2gb die ich brauchen werde geeignet ist^^

weiss da jemand ne loesung?

also ich will die txt-dateien nicht bearbeiten,...also nur nach strings durchsuchen^^

da o0o

[Neotracer64]

Du kannst doch in Chunks arbeiten. Also immer einen Teil einlesen, durchsuchen und wieder freigeben, dann den nächsten Teil der Datei laden.

[cruiser]

dabei aber immer 2 Chunks im Speicher halten um den Suchstring auch dann zu finden, wenn er innerhalb der grenzen der Blöcke ist

[o0o]

ehm thx fuer die antwort^^

aber was ist ein chunk? ich hab ebn mal geschwind die sufu benutzt und dabei verwertbares nix gefunden.
koenntet ihr mal kurz erklaeren was das ist oder hab ihr ein tutorial dazu?

thx im vorraus...da o0o

[alzaimar]

Chunk = Bissen.

Nehmen wir an, du wilst einen String der Länge 100 suchen
Du lädst 1000 Zeichen ein und fängst an zu suchen. Wenn Du beim 901.Zeichen angelangt bist, schmeißt Du die ersten 900 Zeichen weg und lädst die nächsten 1000 Zeichen ans Ende des nun etwas reduzierten 'Chunks'. Nun hast Du 1100 Zeichen im Speicher und kannst weiter suchen. Immer wenn Du kurz vor dem Ende des 'Chunks' bist (also wenn deine Position < Länge - Suchtextlänge) ist, dann lädst Du den nächsten Bissen in den Speicher.

Wenn Du nach Wildcards suchst, geht das nicht so. Ich würde mir eine Funktion 'AdvanceFilePos' schreiben, die die Position eines virtuellen Zeigers in deiner Datei erhöht. Dabei prüft er jedes Mal, ob die Daten an dieser Position überhaupt geladen ist, lädt ggf. nach und verwirft die Teile, die bereits durchsucht wurden.

[grenzgaenger]

wenn du sie nicht bearbeiten willst, weshalb willste sie denn in ein memo laden? mal davon abgesehen, welcher anwender interessiert sich wirklich für 2GB text und kann hier noch den überblick behalten??? :drunken: :drunken:

wie wär es, die datei zeilenweise einzulesen und während du diese zeilenweise abarbeitest gleichzeitig zu durchsuchen und deine ergebnisobjekte für die weiterverarbeitung gleich wegstellst? hier sollten die schlüsselwörter assign, reset, readln weiterhelfen.

grüsse und noch einen schönen samstag
GG

[christian_u]

Nimm einfach die pascal Standartfunktionen dazu, das ist effizient und einfach.

var
f : TextFile;
tmp : string;

Assignfile(f,'meinedatei.txt');
reset(f);
while not eof(f) do
begin
readln(f,tmp);
end;
closefile(f);

[marabu]

Hallo,

geht es hier um die Programmierung einer effizienten Textsuche als Selbstzweck oder eher um das Durchsuchen großer Textmengen? Im letzteren Fall würde ich einfach ein existierendes Textwerkzeug wie GREP verwenden. Auch der Suchtypus spielt eine Rolle. Wird nur das erste Auftreten eines Strings gesucht oder alle? Soll der String vollständig gefunden werden oder wird ein komplexeres Suchmuster benötigt?

Freundliche Grüße

[alzaimar]

@christian_u: Wenn der Suchtext mehrere Zeilen umfasst, dann klappt das nicht.

[o0o]

Zitat:

Zitat von marabu

Hallo,

geht es hier um die Programmierung einer effizienten Textsuche als Selbstzweck oder eher um das Durchsuchen großer Textmengen? Im letzteren Fall würde ich einfach ein existierendes Textwerkzeug wie GREP verwenden. Auch der Suchtypus spielt eine Rolle. Wird nur das erste Auftreten eines Strings gesucht oder alle? Soll der String vollständig gefunden werden oder wird ein komplexeres Suchmuster benötigt?

Freundliche Grüße

also es geht um eine oder mehrere grosse log-dateien im txt format(ca2gb,...oder auch ein paar gb mehr^^)

also in dieser textdatei werden nur logcodes drinstehen und ein name dazu, also ungefaehr so:

Zitat:

dew87yweiuwe7dfw Peter
buy86d6h0gujh Martin

dazwischen wird nur eine leertaste sein, mehr nicht.
also in der logdatei muss dann nur noch nach exakt einem logcode gesuch werden und der name dazu ausgegeben werden. doppelte eintraege bestehen nicht.

da o0o