Große Mengen Daten einlesen

[Dumpfbacke]

Hallo,
ich muß aus einer großen Datei 400 MB Text mit Trennzeichen | Daten auslesen um Daten in meiner Interbase Datenbank zu aktualisieren. Dieses sollte wöchentlich geschehen.

Dazu habe ich schon zwei Wege versucht.

1.) Daten in eine Access Datei einlesen um dann per ADO darauf zuzugreifen. MDB ist dann 1 GB groß
2.) Zugriff mittels TJvCSVDataSet

Bei beiden Möglichkeiten bekomme ich die Fehlermeldung, das ich nicht genügent speicher hätte. Die Kiste hat 8 GB RAM.

Hat jemand noch eine andere Möglichkeit wie ich an die Daten kommen kann und dann ein Teil in Interbase einlesen bzw abgleichen kann.

Tanja

[ULIK]

Hi,

kannst Du denn die Daten nicht ganz normal wie aus einem Textfile einlesen und die einzelnen Werte aufsplitten wie Du es brauchst und sie dann in deine IB bei Bedarf reinschreiben?


Grüße,
Uli

[Dumpfbacke]

Zitat von ULIK:

Hi,

kannst Du denn die Daten nicht ganz normal wie aus einem Textfile einlesen und die einzelnen Werte aufsplitten wie Du es brauchst und sie dann in deine IB bei Bedarf reinschreiben?


Grüße,
Uli

Wie kann ich die Daten denn einlesen ? Daten sind im Textformat und als Trennzeichen wird ein | benutzt.

Tanja

[rawsoul]

Explode könnte dir dabei helfen. Teile die Stringliste doch erst einmal in mehrere kleine Datenpakete und arbeite dann eins nach dem anderen ab.

[Klaus01]

Nun explode auf 400MB Daten angewendet - ist, so denke ich, auch nicht ohne.

Sind die Datensätze denn immer gleich lang?
Dann könntest Du sie doch "häppchenweise" mit Hilfe eines Buffers einlesen
und verarbeiten.

Kannst Du einen Teil der Daten mal hier einstellen?

Grüße
Klaus

[mkinzler]

Man könnte es auch mit der External File Funktion von IB versuchen.

[Bernhard Geyer]

Zitat von Dumpfbacke:

Bei beiden Möglichkeiten bekomme ich die Fehlermeldung, das ich nicht genügent speicher hätte. Die Kiste hat 8 GB RAM.

Du hast 32-Bit-Prozesses und wenn du dein 64-Windows nicht entsprechend konfigurierst wirst du maximal 2 GB Speicher für den Prozess haben können. davon nach ein paar 10 MB für System-DLL's die in deinem Prozess eingeblendet sind und deinen eigentlichen Code wirst du maximal auf 1,8-1,9 GB für deinen Prozess kommen.

Und wenn du die 400 MB-Datei mit normaler Stringlist einlist wirst du pro MB Textdatei 2-3 MB Speicher benötigen da diese AFAIK die Textdatei komplett einliest und dann bearbeitet. Du wirst nicht darum herumkommen eine bessere Laderoutine zu schreiben.

[Luckie]

Zitat von Bernhard Geyer:

Zitat von Dumpfbacke:

Bei beiden Möglichkeiten bekomme ich die Fehlermeldung, das ich nicht genügent speicher hätte. Die Kiste hat 8 GB RAM.

Du hast 32-Bit-Prozesses und wenn du dein 64-Windows nicht entsprechend konfigurierst wirst du maximal 2 GB Speicher für den Prozess haben können. davon nach ein paar 10 MB für System-DLL's die in deinem Prozess eingeblendet sind

Korrektur: Unter 32-Bit hat jeder 4 GB Adressraum, wobei 2 GB für das Betriebssystem reserviert sind.

[KPBecker]

Wenn man die Information nacheinander zeilenweise getrennt verarbeiten kann, sollte es eigentlich kein Problem mit dem Speicherplatz geben:

- Eine Zeile der Textdatei einlesen (ReadLn).
- Die Elemente der Zeile in eine Stringlist aufsplitten
(sl.DelimitedText:= Text, vorher sl.Delimiter:= '|' und sl.StrictDelimiter:= true nicht vergessen)
- Eintrag in die Datenbank machen
- nächste Zeile ...

Klaus-Peter

[grenzgaenger]

wenn du die daten schon nach access einlesen kannst, dann kannse sie auch gleich nach IB einlesen. die einleseprozedur ist doch die selbe.

sonst anderer ansatz, zeile für zeile flat file einlesen, aufbereiten und dann über insert/update in die db. das einlesen für 400 meg sollte nicht länger als 1, 2 senkunden dauern, wenn du keine grosseartige aufbereitung hast, ist der rest auch in einer sekunde erledigt (vorausgesetzt du hast 'n einigermassen marktgängigen rechner, und keinen der 20 jahre alt ist).

wenn wir dir beim aufbereiten und einlesen des flat files helfen sollen, poste doch mal deinen datenaufbau und was du schon geschrieben hast zum einlesen.

btw: hab ich for 'n paar wochen, vllt. auch monaten, hier auch 'ne routine eingestellt um genau so 'n problem zu lösen.

grüsse und noch viel erfolg.