TClientDataSet füllen

[DelTurbo]

Hi,
ich habe es vergessen. Und ich finde nichts dazu. Vielleicht bin ich auch zu dumm.

Zur Sache:
Ich habe diverse CSV Dateien. In jeder CSV steht eine ID und dazu diverse Daten. Nun müsste ich die Daten anhand der ID in eine CSV packen.

Beispiel:
Datei 1: ID,Name,Alter
Datei 2: ID,Geschlecht,Groesse

Rauskommen soll eine Datei die so aussehen müsste:
ID,Name,Alter,Geschlecht,Groesse

Nun dachte ich, da ich nichts finde womit ich eine CSV bearbeiten kann (ich müsste die ID in Datei1 finden und die Daten von Datei2 natürlich anhand der ID erweitern), ich lese die CSV (sowas habe ich gefunden) und packe die in ein TClientDataSet. Ich bekomme es einfach nicht hin. Ich hoffe doch das man wenn das DataSet mit der ersten Datei gefüllt ich, man Spalten erweitern kann.

Da ich nicht über die IDE die Felder erstellen kann, habe ich folgendes gemacht. Und das klappt sogar.

Delphi-Quellcode:

   CSVDataSet:=TClientDataSet.Create(nil);
    CSVDataSet.Active:=False;
    CSVDataSet.FieldDefs.Clear;
    for i:=0 to FieldNames.Count-1 do begin
      CSVDataSet.FieldDefs.Add(FieldNames.Strings[i],ftWideString,0,False);
    end;
    CSVDataSet.CreateDataSet;
    CSVDataSet.Active:=True;

Dann wollte ich eine Schleife durchlaufen die das DataSet füllt. Ich habe nur nullen drin.

Die Schleife:

Delphi-Quellcode:

    while ( not CSVFile.Eof ) do begin
      for i:=0 to Fieldnames.Count-1 do begin
        CSVDataSet.Append;
        CSVDataSet.FieldByName(Fieldnames.Strings[i]).AsString:=CSVFile.FieldByName[Fieldnames.Strings[i]];
        CSVDataSet.Post;
      end;
      CSVFile.Next;
    end;

Es dauert sehr lange und es klappt halt nicht. Sind über 120.000 CSV-Zeilen und 29 Spalten.

Vielleicht hat jemand eine Idee was ich nun schon wieder falsch mache. Ich sehe im Taskmanager wie das Programm immer mehr Speicher braucht. Aber bei TClientDataSet.SavetoFile sehe ich nur die Spaltennamen. Der Rest ist "schrott".

Vielen Dank im voraus

[Delphi.Narium]

Der Fehler liegt in dieser Zeile:

Delphi-Quellcode:

CSVDataSet.FieldByName(Fieldnames.Strings[i]).AsString := CSVFile.FieldByName[Fieldnames.Strings[i]];

Hier hätte ich eher

Delphi-Quellcode:

CSVDataSet.FieldByName(Fieldnames.Strings[i]).AsString := CSVFile.FieldByName(Fieldnames.Strings[i]).AsString;

erwartet.

[jbg]

Deine WideString-Spalten haben eine maximale Länge von 0. Da passt nicht viel rein.

Zitat:

CSVDataSet.FieldDefs.Add(FieldNames.Strings[i],ftWideString, ----> 0 <---- ,False);

Zudem wird für das ClientDataSet ein "ChangeLog" geschrieben, welches Speicher beansprucht und dazu dient, einen "Rollback" durchzuführen. Wenn du das nicht brauchst, wovon ich ausgehe, dann kannst du das deaktivieren, bevor du die Daten in das CDS reinkoppst.

Delphi-Quellcode:

CSVDataSet.CreateDataSet;
CSVDataSet.Active:=True;
CSVDataSet.LogChanges := False; // Kein ChangeLog führen

Da du als Ergebnis eine CSV Datei haben möchtest, ist ein ClientDataSet in meinen Augen ungeeignet, da es immens Speicher frisst und zudem auch noch langsam ist. Vor allem musst du beim CDS wissen, wie viele Zeichen maximal in ein Feld kommen, denn ein Verbreitern von Spalten ist nicht möglich. Und wenn du die Spaltenbreite zu hoch einstellst, verbrennst du Arbeitsspeicher, denn auch ein String mit nur einem Zeichen braucht im CDS den Speicher für die maximale Zeichenanzahl der Spalte.

Eine andere Lösung wäre sich eine Klasse (TMyCSVRow) zu schreiben, die alle Zielfelder enthält. Dann die erste CSV-Datei einlesen und während dessen für jede Zeile ein Objekt erzeugen und dieses in ein Dictionary<T, TMyCSVRow> packen. Danach die zweite CSV-Datei einlesen und im Dictionary das Objekt zur ID suchen (Fehlerfall, ID ist nicht vorhanden beachten) und die weiteren Objektfelder befüllen. Wenn alle CSV-Dateien so eingelesen wurden, kannst du über die Dictinary-Values drüber iterieren (for-in) und die CSV-Datei schreiben. Und wenn die Reihenfolge der Zeilen der Ziel-CSV-Datei wichtig ist (TDictionary wirft sie durcheinandern), könne man die Objekte zusätzlich in eine TList<TMyCSVRow> packen und beim Schreiben der Ziel-CSV-Datei diese durchlaufen anstatt des Dictionary. Die Freigabe der Objekte im TDictionary oder TList darf natürlich nicht vergessen werden.
Dieses Vorgehen verbraucht um einiges weniger Speicher und ist um ein vielfaches schneller.

Obiges könnte man auch Quick&Dirty mit einer TStringList als "Klasse" bauen und die Reihenfolge der Strings in der StringList gibt die Ziel-Spalte an. Somit hätte man ein TDictionary<T, TStringList>.

[DelTurbo]

Zitat:

Zitat von Delphi.Narium (Beitrag 1536569)

Delphi-Quellcode:

CSVDataSet.FieldByName(Fieldnames.Strings[i]).AsString := CSVFile.FieldByName[Fieldnames.Strings[i]];

Hi,
da kommt ein String zurück. Der kann nichts anderes.

@jbg,
ich dachte er erweitert den String automatisch... AHH da wars wieder... ich dachte.

Aber eine andere Frage, gibt es nicht einen Feldtyp der "mitwächst"? Also der so viel Platz belegt wie der String lang ist. Wenn nicht müsste ich wohl einmal die CSV durchlesen und schauen was Integer oder Boolean und mir den längsten String merken.

Aber noch eine frage zum Abschluss, wenn ich nun eine komplette CSV geladen habe und muss ein Feld/Spalte anfügen, kann CDS das?

Danke

[jbg]

Zitat:

Zitat von DelTurbo (Beitrag 1536580)

Aber eine andere Frage, gibt es nicht einen Feldtyp der "mitwächst"?

Ein Blob-Feld könnte dies, aber das wäre dann wohl der völlig falsche Datentyp. Ansonsten nein, so einen Datentyp gibt es beim CDS nicht.

Zitat:

Zitat von DelTurbo (Beitrag 1536580)

Aber noch eine frage zum Abschluss, wenn ich nun eine komplette CSV geladen habe und muss ein Feld/Spalte anfügen, kann CDS das?

Auch das geht nicht. Wenn das CreateDataSet gelaufen ist, kann man keine weiteren Felder hinzufügen. Die müssen vorher schon angelegt worden sein. Man muss sie nicht initial befüllen.

Deswegen denke ich, dass ein ClientDataSet für deinen Zweck ungeeignet ist und, wenn auch mehr Tipparbeit, eine Lösung ohne DataSet die bessere ist.

[Uwe Raabe]

Kannst du nicht die einzelnen CSV-Dateien einmal alle durchlaufen um die Felder anzulegen und dann nochmal separat für den Import?

Delphi-Quellcode:

    CSVDataSet:=TClientDataSet.Create(nil);
    CSVDataSet.Active:=False;
    CSVDataSet.FieldDefs.Clear;
    for <all CSV files> do begin
      <load FieldNames>
      for i:=0 to FieldNames.Count-1 do begin
        if CSVDataSet.FieldDefs.IndexOf(FieldNames.Strings[i]) < 0 then
          CSVDataSet.FieldDefs.Add(FieldNames.Strings[i],ftWideString,255,False);
      end;
    end;
    CSVDataSet.CreateDataSet;
    CSVDataSet.Active:=True;

[DelTurbo]

Hallo Uwe,
ich habe es mal Laufen lassen. Leider ist das mit CDS soooo langsam das es keinen spass macht. Ich bin gerade dabei, so wie jbg schrieb, das selber zu machen. Ich habe Dynamische Arrays wo ich alles in TStringList laufen lasse. Das ist viel viel schneller.

Trotzdem danke