Eine sehr große textbasierte Datei durchsuchen?

[begin.delphi]

Hallo Delphianer,

mein erstes Thema und ich habe folgende Frage. Aber vorher kurz zu mir: Delphi hatte ich mal vor vielen Jahren in der Schule, seit dem habe ich mit Delphi kaum was gemacht. Und nun zu meiner Frage:

Ich möchte eine sehr große textbasierte Datei durchsuchen, nämlich eine GEDCOM-Datei (https://de.wikipedia.org/wiki/GEDCOM). Diese ist ca. 1GB groß und ich glaube diese kann ich nicht wie eine KB-große Datei einfach so in den RAM laden. Was gibt es für Techniken, um mit großen Dateien zu arbeiten, und vorallem relativ schnell?

Gruß
Johann

[Namenloser]

Hi,

als ersten Schritt würde ich mir mal TFileStream bzw. TStream anschauen. Damit kannst du eine Datei häppchenweise verarbeiten, ohne sie komplett in den RAM zu laden.

[Sherlock]

Lade die Datei in ein System.Classes.TFileStream-Objekt. Mit den Methoden Seek und Read solltest Du für den Fall, daß Du nur bestimmte Eintragungen suchst dann ganz passabel zum Ziel kommen. Falls du den kompletten Dateiinhalt in Pascal-Objekte Umwandeln möchtest, mußt du halt von Anfang bis Ende auslesen, dazu reicht ja ein wiederholtes Read.

Sherlock

[TiGü]

OT:
1 GB große GEDCOM Datei? Wieviele Personen sind denn darin?

[begin.delphi]

Zitat von TiGü:

OT:
1 GB große GEDCOM Datei? Wieviele Personen sind denn darin?

Ein Paar Millionen. Ist schon was...

[TiGü]

Ist das ein Textbackup der Datenbank von FamilySearch?
Ein einzelner Mensch kann ja unmöglich soviele Daten zusammentragen.

[begin.delphi]

Zitat von TiGü:

Ist das ein Textbackup der Datenbank von FamilySearch?
Ein einzelner Mensch kann ja unmöglich soviele Daten zusammentragen.

Ist ein Ahnenforschungsprojekt, in der Datei ist eine Volksgruppe eingetragen und ihre Vorfahren der letzten 500 Jahre. Willst Du mit machen?

[himitsu]

Die alten Dateifunktionen ala ReadLn funktionieren immernoch, auch über 2GB hinaus, wenn man ausschließlich sequentiell liest.
Also falls dir "schnell" egal ist und es auch ruhig langsamer und einfach sein darf.

Es gibt hier auch mehrere Komponenten zu finden, welche die Datei stückchenweise in den Speicher laden können.
große Textdateien

[begin.delphi]

Ja, es geht nur ums Lesen, mehr nicht. Ok, ich schaue mal was sich besser umsetzen lässt, TFileStream oder ReadLn. Und vielen Dank erst mal!

[TiGü]

Zitat von begin.delphi:

Zitat von TiGü:

Ist das ein Textbackup der Datenbank von FamilySearch?
Ein einzelner Mensch kann ja unmöglich soviele Daten zusammentragen.

Ist ein Ahnenforschungsprojekt, in der Datei ist eine Volksgruppe eingetragen und ihre Vorfahren der letzten 500 Jahre. Willst Du mit machen?

Habt ihr eine Projektseite oder ähnliches für weitere Informationen?

Ich kenne bspw. die Ahnengemeinschaft aus Sachsen, aber die haben nur 179013 Personen im Stammbaum und es arbeiten 476 Menschen daran mit.
https://www.myheritage.de/site-10990...ft-aus-sachsen