Hallo,
ich arbeite täglich mit sehr großen Textdateien (ca.500MB
ASCII ... >1.000.000 Zeilen).
Das Prinzip ist immer das gleiche:
- Textdatei in
MySQL DB einlesen (>1.000.000 Zeilen, Spalten mit "|" getrennt)
- Referenz (ebenfalls Textdatei) in
MySQL DB einlesen (>1.000.000 Zeilen)
- beim Einlesen jeweils "on-the-fly" bestimmte Spalten anpassen/generieren
- beide Tabellen vergleichen
- unterschiedliche Datensätze (teilweise nur 10-100DS) in ein bestimmtes Textformat bringen und speichern
Z.Z. arbeite ich mit XAMPP (PHP,
MySQL). Ein Abgleich wie oben beschrieben dauert ca. 40 Minuten auf einem Server mit
DualCore Prozessor und 4GB
RAM.
Der Internet-Explorer als Bedienoberfläche ist ziemlich unpraktisch. Die Zeit könnte auch kürzer sein.
Ich würde gern auf ein anderes System "umschwenken". Ich programmiere privat in Delphi 2005
PE. Allerdings nicht in solchen dimensionen.
Welches System könnte für solche Zwecke optimal sein? Also Text auslesen, Text bearbeiten, in
DB schreiben,
DB auswerten und Textdatei generieren.
Was ist einigermaßen zukunftssicher und schnell (.NET?))
Vielen Dank!