Query in csv:welche schnelle Funktion zum suchen/ersetzen?

[juergen]

Hallo zusammen,
ich speichere das Ergebnis einer SQL-Abfrage direkt in eine csv-Datei ab.
Das funktioniert gut und schnell.
Nun muss ich (leider :( ) das Ergebnis der SQL-Abfrage jeweils VOR dem Abspeichern nach einem bestimmten Zeichen (verwendeter Seperator für die csv-Datei) durchsuchen und ersetzen.
Da die Datenmenge mehrere Millionen Datensätze betragen kann, hier meine Frage:
- welche schnelle (!) Suchen-und Ersetzen Funktion sollte ich verwenden?

Bzw. wenn es Geschwindigkeits-Vorteile bringt, würde auch ein generelles Entfernen (also ohne Ersetzen) reichen.

[mkinzler]

Wie speicherst du die CSV-Datei? Vielleicht kann man dort den Separator ändern.
-CSV-DataSet
-Ersetzen im Stream

[juergen]

Hallo mkinzler,
ich speichere in keinen Stream, sondern füge jedes Feld direkt in einer Datei an.
Hier 2 weitere Schleifen für Suchen und Ersetzen einzufügen, wird das ganze wohl ziemlich bremsen.
Im Moment sieht mein Source für das Erstellen der csv-Datei wie folgt aus:

Delphi-Quellcode:

var
  Var_DS: Integer;
  Var_my_File_String: TStringList;
  Var_Cell: string;

begin
  Pfadelesen; // eine zuvor ausgeführte procedure
  Iniauslesen; //eine zuvor ausgeführte procedure
  Query1.DatabaseName := my_nice_DB_Name;
  Query1.SQL.add(sql);
  Query1.Active := true;
  Query1.FindFirst;
  Var_my_File_String := TStringList.Create;

  try
    while not (query1.eof) do
    begin
      Var_Cell := '';
      for Var_DS := 0 to Pred(Query1.FieldCount) do
      begin
        Var_Cell := Var_Cell + query1.Fields[VAR_DS].AsString;
        if (Var_DS < Pred(Query1.FieldCount)) then
        begin
          Var_Cell := Var_Cell + (Seperator_from_ini); // der in einer ini-Datei "hinterlegte" Seperator wird hier eingefügt
        end;
      end;
      Var_my_File_String.Add(Var_Cell);
      Query1.Next;
      Application.ProcessMessages;
    end;
    Var_my_File_String.SaveToFile(Ausgabename)
  finally
    Var_my_File_String.Free;
  end;
  Query1.Close;
end;

Wäre natürlich für jede Optimierung dankbar!

[mkinzler]

Ich verstehe dein Problem nicht du setzt doch in deinem Code den Separartor. Warum setzt du dann nicht gleich den richtigen?

[juergen]

Das Problem ist, dass die Ergebnisse aus der/den Tabelle(n) auch Zeichen enthalten können, welche dem vorgegebenem Seperator entsprechen.
Somit wäre mein Dateiaufbau nicht richtig.
Ich muss also meine Variable "Var_Cell" noch nach dem vorgegebenem Seperatort durchsuchen und ggf. erstzen oder löschen.

[marabu]

Hallo Jürgen,

eine korrekte CSV-Datei könntest du auch so erzeugen:

Delphi-Quellcode:

procedure ValuesToStrings(fields: TFields; s: TStrings);
var
  i: Integer;
begin
  s.Clear;
  for i := 0 to Pred(fields.Count) do
    s.Add(fields[i].AsString);
end;

procedure SaveAsCSV(const select, fn: string; delimiter, quoteChar: Char);
var
  s: TStrings;
  fs: TStream;
  line: string;
begin
  s := TStringList.Create;
  s.Delimiter := delimiter;
  s.QuoteChar := quoteChar;

  fs := TFileStream.Create(fn, fmCreate);

  with TQuery.Create(nil) do
  try
    DatabaseName := 'my_nice_DB_Name';
    SQL.Text := select;
    Open;
    // WriteNames ?
    while not Eof do
    begin
      ValuesToStrings(Fields, s);
      line := s.CommaText + sLineBreak;
      fs.Write(line[1], Length(line));
      Next;
      Application.ProcessMessages;
    end;
    Close;
  finally
    Free;
    fs.Free;
    s.Free;
  end;
end;

Dabei werden die üblichen Besonderheiten bereits berücksichtigt. Der Code muss sicher noch etwas poliert werden und ist nicht getestet, sollte aber zeigen worauf es ankommt.

Freundliche Grüße

[mkinzler]

Dann für doch die Ersetzung gleich vor dem Zusammensetzen aus. Oder Quote die Strings.

Delphi-Quellcode:

Var_Cell := Var_Cell + StringReplace(query1.Fields[VAR_DS].AsString, Seperator_from_ini, '', [rfReplaceAll]);

[marabu]

Hallo Markus,

ich habe es zwar nicht besonders hervorgehoben, aber ein Pferdefuß an Jürgens Ansatz ist die vollständige Zwischenspeicherung der CSV-Daten im Hauptspeicher. Bei mehreren Millionen Datensätzen könnte es notwendig werden den Hauptspeicher aufzustocken. Ich schreibe deshalb jede Zeile sofort auf die Platte. Bei Laufzeitproblemen lässt sich eine Pufferung mit wenigen Zeilen Quellcode ergänzen.

CommaText erzeugt übrigens korrekte CSV-Zeilen, auch wenn das Trennzeichen in den Daten selbst vorkommt.

Freundliche Grüße

[mkinzler]

Hallo Achim,
Ich wollte ihn ja nur darauf hinweisen, das das "Zusammenbauen" der Zeilen und das Ersetzen in einem Arbeitsgang erfolgen kann, ob man das Ergebnis puffert oder sofort speichert.

[juergen]

Hallo,
ok, die schnellste Variante ist die Lösung von mkinzler im selben Schritt der Dateizusammenstellung das Replace auszuführen.

Der Einwurf von marabu ist aber auch wichtig. Das mit dem Arbeitsspeicher war mir nicht so bewusst.
Morgen werde ich auf Arbeit einen Test mit entsprechenden Datenmengen vollziehen können.
Dann weiß ich in etwa, wie sich der Speicher zubaggert, wie groß die csv-Datei in etwa werden kann und wie sich das Laufzeitverhalten darstellt.
Ich werde dann wohl einen weiteren Parameter in meine ini-Datei aufnehmen -> huge_amount_of_Data...
Dann kann ich zusätzlich die Variante von marabu versuchen umzusetzen.

Vielen Dank euch beiden und einen schönen Sonntag noch! :thumb: