Große -ca. 100MB- Textdateien öffnen und verarbeiten

[triangulum]

Salü,

ein Delphiprogramm liest Daten aus einer Textdatei (dort zeilenweise abgelegt) und wertet diese aus.

Voraussichtlich werden diese Datendateien im "realen Leben" Ausmaße von durchaus 100MB erreichen.

Was sind elegante Lösungen, um Dateien dieser Größe zu öffnen / zu verarbeiten?

Benutzung von Datenbanken anstatt den Datendateien entfällt ....

Evtl. jemand hier mit bereits der gleichen Problemstellung?

Borland Studio 2006 Architect (Delphi 10)

[Klaus01]

Guten Morgen,

Vielleicht kann Dir einer dieser Links etwas helfen:
http://oszhdl.be.schule.de/gymnasium...al_dateien.htm
http://delphi.pjh2.de/articles/files/files.php


Grüße
Klaus

[Relicted]

bau dir einen parser... die dateien werden dann byte für byte eingelesen.
wenn du die informationen nur einmal benötigst bzw immer nur häppchenweise ohne sie im zusammenhang zu betrachten versuchs einfach mal mit dem TFilestream. sollte meines erachtens das performanteste sein.
ich arbeite selbst mit so großen "text" dateien und mache das auch über den filestream den ich mir mit einem buffer versehen habe und methoden wie "Position" und "Size" überschrieben habe, da diese sehr perfomancelastig sind... ( size z.b. springt von der aktuellen dateiposition ans ende der datei und sucht sich dann mit seek() die vorher gemerkte dateiposition wieder... )

gruß
reli