Textdatei > 500 MB für DB vorbereiten

[alzaimar]

Zitat von grenzgaenger:

@alzaimar: was steht dagegen 'ne kontenform zu verwendeten, so wie der textoutput...

Nichts, nur dachte ich, alles soll in eine Tabelle. Ansonsten wäre das natürlich besser, da die benutzerdefinierten Felder eine solche Struktur auch auf der Lotus-Seite nahelegen.

Es ist aber grauenvoll, sich vorzustellen, das Anwender A 'Ziel', Anwender B 'Target' und Anwender C 'Destination' für semantisch identischen Inhalt verwenden. Daraus würden dann drei unterschiedliche Spalten. Klasse.

Zitat von OG Karotte:

Aber es scheint tatsächlich das Filtern der Mehrfachvorkommen der Feldnamen UND die Aktualisierung der Bildschirmausgabe (der Nutzer soll ja sehen, das etwas passiert) die Einbussen in der Geschwindigkeit bringen.

Gegen Ersteres hilft -wie gesagt- eine Hashmap (Eine THashedStringList geht auch. Ist bei Delphi mit dabei).
Gegen die Performanceeinbuße infolge der notwendigen Visualisierung hilft ein einfaches 'Zeig den Fortschritt nur alle 1000 Datensätze'. Das entspräche einer Aktualisierung der Anzeige 1x pro Sekunde (ca.). Das sollte reichen.

Muss das eigentlich alle paar Monate stattfinden? wäre es nicht sinnvoll, bei derartigen Datenmengen eine tägliche Synchronisation durchzuführen?