Eine sehr große textbasierte Datei durchsuchen?

[begin.delphi]

Zitat von jobo:

Was bedeutet "arbeiten und vor allem schnell" konkret?
Ist es die "aktuelle" GEDCOM Version?
Gibt es irgendwo Beispieldaten?

Unter arbeiten meine ich die ged-Datei lesen. Aber auch nicht alles, sondern nur nach bestimmten Namen suchen. Und mit schnell meine ich irgendwelche Vorgehensweise (TFileStream oder ReadLn) die schneller als die restlichen ist. Aus diesen zwei wäre das z.B. TFileStream.

Die eigentliche Datei habe ich noch nicht, aber eine Test-Datei, die ich mir selber erstellt habe. Meine, aber auch die eigentliche die ich noch bekomme, sind in der 5.5.1 Version.

[p80286]

Zitat von begin.delphi:

Unter arbeiten meine ich die ged-Datei lesen. Aber auch nicht alles, sondern nur nach bestimmten Namen suchen.

Je nachdem was Du suchst, erstes Vorkommen/alle Vorkommen, wird Dir nichts anderes übrig bleiben als die Datei vollständig zu lesen.

Gruß
K-H

[begin.delphi]

Zitat von p80286:

Zitat von begin.delphi:

Unter arbeiten meine ich die ged-Datei lesen. Aber auch nicht alles, sondern nur nach bestimmten Namen suchen.

Je nachdem was Du suchst, erstes Vorkommen/alle Vorkommen, wird Dir nichts anderes übrig bleiben als die Datei vollständig zu lesen.

Gruß
K-H

So wie ich das verstehe kann ich in der *.ged nicht wie bei XML zwischen Tags springen, da muss ich wohl wirklich die *.ged komplet linear lesen.

[himitsu]

Wenn der Inhalt sortiert ist, also in deinem Fall nach Namen, wenn du nach Namen suchen willst, dann kann man die Datei schon sehr schnell "überfliegen" und muß nicht alles lesen.

Man könnte sich vorher auch einen Index aufbauen, wo der Anfang jedes Datensatzes in einer Namensliste steht, um schnell zum gewünschten Datensatz springen zu können.
Vorallem wenn man mehrmals nacheinander sucht und die Liste der zu suchenden Namen nicht vorrher bekannt ist und man die nicht einfach in einem Lesedurchgang gemeinsam suchen könnte.

[p80286]

Zitat von himitsu:

Wenn der Inhalt sortiert ist, also in deinem Fall nach Namen, wenn du nach Namen suchen willst, dann kann man die Datei schon sehr schnell "überfliegen" und muß nicht alles lesen.

Man könnte sich vorher auch einen Index aufbauen, wo der Anfang jedes Datensatzes in einer Namensliste steht, um schnell zum gewünschten Datensatz springen zu können.
Vorallem wenn man mehrmals nacheinander sucht und die Liste der zu suchenden Namen nicht vorrher bekannt ist und man die nicht einfach in einem Lesedurchgang gemeinsam suchen könnte.

Und der Index fällt vom Himmel?

Wenn die Datei vorhanden ist, kennt man vllt. die Struktur, aber nicht den Inhalt. Der erschließt sich erst beim Lesen. Und irgendwie werde ich das Gefühl nicht los, daß es nicht darum geht einen Namen zu finden, sondern einen Datensatz, der an Hand eines Namens identifiziert wird.

@begin.delphi
Auch XML Dateien wollen gelesen werden, da gibt es kein umherspringen zwischen den Knoten ohne daß Daten gelesen werden. Das ist manchmal nicht offensichtlich aber es geht wirklich nicht ohne.

Gruß
K-H

[begin.delphi]

Zitat von p80286:

Wenn die Datei vorhanden ist, kennt man vllt. die Struktur, aber nicht den Inhalt. Der erschließt sich erst beim Lesen. Und irgendwie werde ich das Gefühl nicht los, daß es nicht darum geht einen Namen zu finden, sondern einen Datensatz, der an Hand eines Namens identifiziert wird.

Ja, das stimmt. Da muss der passende Nachname gefunden werden, und wenn das gefunden wird, muss das Jahr ausgelesen werden, wann es diesen Nachnamen gab. Mehr nicht.

[bra]

Ich würde auch sagen dass die Daten in eine Datenbank überführt werden sollten. Alles andere ist doch ein Heidenaufwand mit vermutlich unterirdischer Geschwindigkeit.

[TiGü]

Wenn es nur darum geht, das du für dich persönlich Informationen rausfischst, dann kannst du auch das kostenlose Notepad++ versuchen. Sehr mächtiger Editor.

EDIT: Vergiss es, ab 1 GB macht der auch die Grätsche und sagt, dass die Datei zu groß ist.

[jobo]

Zitat von begin.delphi:

Unter arbeiten meine ich die ged-Datei lesen. Aber auch nicht alles, sondern nur nach bestimmten Namen suchen. Und mit schnell meine ich irgendwelche Vorgehensweise (TFileStream oder ReadLn) die schneller als die restlichen ist. Aus diesen zwei wäre das z.B. TFileStream.

Arbeiten:
Gut, ich meinte eigentlich nur die funktionalen Seite. Was sind die "Arbeits"Szenarien/Anforderungen?
Einen(1) Namen suchen bedeutet idR in einer solchen Datei, dass man zunächst den ersten findet
-wenn die Codierung stimmt. Und:
Formatbedingt kommen solche Gemeinheiten dazu, das Werte in mehreren Zeilen verstreut stehen können, Steuerzeichen dazwischen. Das findet man ohne passende Algorithmen nie, wenn man die Rohdaten durchsucht.

Wie auch immer, findet man was, dann kann man weitersuchen, (über)springen, ausschließen, anzeigen usw.
Man kann auch alle Zeilen suchen, in denen dieser Name vorkommt
oder hier vielleicht besser alle Zeilengruppen, wo er vorkommt.

Schnell:
Auch hier interessiert mich eher, was schnell wäre in Sekunden, nicht welche Technik.
In einer 2 GB Logdatei Suche nach einem Wert der ziemlich am Ende steht dauert mit einem alten Ultraedit bei mir grad ca 30 Sekunden. Ein "gib mir alle Zeilen mit [einBestimmterWert]" hab ich noch nicht probiert, dauert vermutlich genauso lang, wenn es geht.

Worauf ich hinaus will:
Wenn Du nur 10 Namen suchen musst und dann fertig bist, nimm einfach einen geeigneten Editor.
Wenn du mehr "musst", dann wäre es bei dem Volumen nicht verkehrt, die Anforderungen genauer zu kennen und dann eine geeignete Technik zu suchen.

BTW
Es gibt Opensource Software, die GEDCOM kann. Hast Du die schon probiert? Versagen sie den Dienst?

P.S: Ich seh grad, das Thema Anforderungen und geeignete Technik ist eh schon im Gang.

[himitsu]

Zitat von p80286:

Zitat von himitsu:

...
Man könnte sich vorher auch einen Index aufbauen, wo der Anfang jedes Datensatzes in einer Namensliste steht, ...

Und der Index fällt vom Himmel?

aufbauen

Am Anfang einmal die Datei durchlaufen und in 'ner Liste das speichern (TStringList/TDictionary<>/...)

Es kommt vorallem darauf an wie oft er in dieser Datei was sucht.
Man kann den Inhalt auch in eine Datenbank schieben und dort weiterarbeiten.