Kodieren gegen großes Datenvolumen (Datendatei > 2 GB, > 15 Mio. DS)

[Blup]

Zitat von Harry Stahl:

Soweit habe ich das dann tatsächlich hinbekommen, dass ich in der 32-Bit-Version die 2,1 Mio. DS importieren und anzeigen lassen kann (schnell ist das Programm aber dann nicht mehr, in der allgemeinen Anzeige schon, aber in der Filterung von DS nicht, dazu später).

Es ist nicht sinnvoll so viele Datensätze im Arbeitsspeicher zu halten.
Es gibt bessere Konzepte z.B.:

Vorbereitung:
- temporäre Datenbank erzeugen
- Tabelle mit den Spalten der CSV-Datei anlegen
- CSV-Datei in die Tabelle einlesen
- jeweils einen Index auf Spalten setzen, die gefiltert oder sortiert werden können
Anzeige:
- je nach Filter/Sortierung die SQL-Anfrage anpassen
- die Anzahl der anzuzeigenden Datensätze ermitteln und Anzeige vorbereiten (z.B. TDrawGrid.RowCount)
- nur die Datenzeilen lesen, die tatsächlich gerade im Fenster sichtbar sind (z.B. Zeile 1- 150) (Daten für die Anzeige bereitstellen z.B. TDrawGrid.OnGetEditText)
- beim Scrollen die nicht mehr sichtbaren Daten aus dem Speicher entfernen und die sichtbaren Daten nachladen (z.B. Zeile 100 - 250)
Import:
- Daten auf Datenbankebene verarbeiten (SQL-Befehle) oder Zeile für Zeile

Zitat von Harry Stahl:

Zur Erinnerung: Eine 32-Bit-Version kann nicht mehr als 2 GB Arbeitsspeicher in Anspruch nehmen.

Das ist nicht ganz richtig. Mit diesem Flag sind je nach Betriebsystemumgebung bis zu 4 GB Arbeitsspeicher direkt adressierbar.

Delphi-Quellcode:

{$SetPEFlags IMAGE_FILE_LARGE_ADDRESS_AWARE}

{$R *.res}

begin
  Application.Initialize;
{...}