csv Datei Import ClassHelper für TClientDataSet

[MaBuSE]

Zitat von himitsu:

Zitat von nahpets:

Die "verwirrenden" Variante entspricht dem definierten und sowohl erwünschten, wie auch dem erwarteten Verhalten.

Dank dem StrictDelimiter:=False (Antwort #20) gibt es noch mehr Verwirrungen, da dort nicht nur der definierte Delimiter als Trennzeichen verwendet wird.

Was aber in diesem Beispiel keinen Unterschied macht.

[H.Bothur]

Wenn ich jemandem mal eine Testdatei geben soll .... müsste ich dann nur schnell umarbeiten weil im Moment sind das echte Kundendaten - dann mache ich das gerne

Hans

[nahpets]

Ich verstehe den Sinn dieser Zeile nicht:slFile[i] := StringReplace(slFile[i], '"', '''', [rfReplaceAll, rfIgnoreCase]); QuotedChar in der CSV ist das ".

Warum das " durch das ' ersetzen?

Hast Du denn dann auch QuotedChar auf ' gesetzt?

Wenn nein, dann ist das (zusammen mit StrictDelimiter:=False) wie russisch Roulette.

Irgend wann geht der Schuss los, aber man weiß nicht, wen es wann trifft.

[Blackpit]

Hi Folks,
hier eine Implemtierung für LF in Quoted-Fields:

Code:

// v1.1 - 26.02.2019 - Blackpit: Anpassung LF in Quotes
/// /////////////////////////////////////////////////////////////////////////////
procedure TClientDataSetCsvClassHelper.LoadFromFile;
var
  myString :Variant;
  slFile :TStringList;
  slRow :TStringList;
  x :Integer;
  i :Integer;
  j :Integer;
  myPos :Integer;
  myFields :Integer;
  cntFields :Integer;
begin
  slFile := TStringList.Create;
  slRow := TStringList.Create;
  try
    myPos := 0;
    slRow.Delimiter := Delimiter;
    slRow.QuoteChar := QuoteChar;
    slRow.StrictDelimiter := True;
    slFile.StrictDelimiter := True;
    slFile.LoadFromFile( Filename );

      // ClientDataset Initialisieren
    if slFile.Count > 0 then
    begin
      Active := False;
      for x := 0 to slFile.Count - 1 do
      begin
        myString := '';
        if (x = 0) then
        begin
          myPos := x;
            // Build Header for DS
          slRow.DelimitedText := slFile[0];
          if FirstLineTitle then myFields := slRow.Count;
          FieldDefs.Clear;
          for i := 0 to myFields - 1 do
          begin
            if FirstLineTitle and ( slRow[i] <> '' ) then
            begin
              FieldDefs.Add( slRow[i], ftWideString, StringLength );
            end
            else
            begin
              FieldDefs.Add( Format( 'Field%d',[i]), ftWideString, StringLength );
            end;
          end;
          CreateDataSet;
          Active := True;
          myString := slFile[myPos];
        end;
        begin
        if (x=0) and FirstLineTitle then inc( myPos );
          if myPos = slFile.Count then
            break;
            myString := slFile[myPos];
            cntFields := length( myString )-
              length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
          while cntFields < (myFields-1) do
            begin
              inc( myPos );
              myString := myString+slFile[myPos];
              cntFields := length( myString )-
                length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));
            end;
        end;
          // fill TClientDataset
        DisableControls;
        if (myPos > 0) then
        begin
          slRow.DelimitedText := myString;
          Append;
          for j := 0 to slRow.Count - 1 do
          begin
            Fields[j].AsString := slRow[j];
          end;
          Post;
        end;
        EnableControls;
        inc( myPos );
      end;
    end;
  finally
    slFile.Free;
    slRow.Free;
  end;
end;

Über Feedback würde ich mich freuen.
HTH somebody

[Rollo62]

Sieht auf den ersten Blick OK aus.

Ich sehe das Du immer einen Header in der CSV-Datei erwartest.
Da würde ich eine Option machen, so das auch "Headerlose" CSV erzeugt werden können,
z.B. mit Dummynamen "Field1", "Field2"

[MaBuSE]

Zitat von Blackpit:

Hi Folks,
hier eine Implemtierung für LF in Quoted-Fields:
...
Über Feedback würde ich mich freuen.
HTH somebody

Hallo,
ich glaube Deine Lösung würde fehlschlagen, wenn in der 1. Zeile schon ein CRLF in einem Feld enthalten ist.
Wenn ich das beim Lesen richtig verstanden habe entfernst Du einfach die CRLF  myString := myString + slFile[myPos]; . Sie sind dann auch beim Speichern nicht mehr enthalten.

Ich würde noch einen anderen Ansatz vorstellen.
Man könnte die CRLF in den Quoted Fields auch per Regular Expression identifizieren und dann durch ein String ersetzen. Beim Zuweisen der Felder würde man das dann wieder rückgängig machen. Damit sind die CRLF auch in den Datenbank Feldern enthalten.

Damit würde das Beispiel eines ClassHelpers und der einfachen Konvertierung von CSV Dateien via TStringList um ein Beispiel zur Verwendung von System.RegularExpressions und die Verwendung eines Records zum "Erzeugen einer Methode" erweitert

Ich hab mal schnell so was zum Maskieren der CRLF geschrieben. In diesem Beispiel wird das " verwendet. Das kann man natürlich auch noch variabel gestalten.
Der String '"[^"]*\n[^"]*"' müsste dann entsprechende angepasst werden.
Bei Param const QuoteChar: Char = '"' wäre das dann so was wie QuoteChar+'[^'+QuoteChar+']*\n[^'+QuoteChar+']*'+QuoteChar oder Format('%s[^%0:s]*\n[^%0:s]*%0:s', [QuoteChar]) .

Anmerkung zu RegEx. Der verwendete Ausdruck '"[^"]*\n[^"]*"' wurde von mir verwendet, da '".*\n.*"' nicht funktioniert, da das * greedy ist. (Siehe https://www.regular-expressions.info/repeat.html )
Anmerkung zum Replace: Ich habe das an das Beispiel aus der Dokumentation angelehnt (Siehe http://docwiki.embarcadero.com/CodeE...place_(Delphi) )

Mit MaskCRLF werden alle CRLF in "" durch ^P ersetzt.
Mit UnMaskCRLF wird das wieder zu CRLF.

In LoadFromFile müssten nur 2 Zeilen ergänzt werden.
SaveToFile müsste natürlich auch entsprechend geändert werden.

Delphi-Quellcode:

...
uses Unit2; // Die Unit einbinden.
...
    // TClientDataset füllen
    DisableControls;
    slFile.Text := MaskCRLF(slFile.Text); // <----- Diese Zeile ist neu ;)
    for i := 0 to slFile.Count - 1 do
    begin
      slRow.DelimitedText := slFile[i];
      Append;
      for j := 0 to slRow.Count - 1 do
      begin
//        Fields[j].AsString := slRow[j];
        Fields[j].AsString := DeMaskCRLF(slRow[j]); // <----- Diese Zeile wurde geändert ;)
      end;
      Post;
    end;
    EnableControls;
...

Hier ist die verwendete Unit2.pas:
(Ich hab sie noch nicht gespeichert, deshalb hab ich mir auch noch keinen Gedanken über den Unit-Namen gemacht

Delphi-Quellcode:

unit Unit2;

interface

function MaskCRLF(const Source: string; Mask: string = '^P'): string;
function DeMaskCRLF(const Source: string; Mask: string = '^P'): string;

implementation

uses
  System.SysUtils, System.RegularExpressions;

type
  TmyReplaceRec = record
    Mask: string;
    function MyReplace(const Match: TMatch): string;
  end;

function TmyReplaceRec.MyReplace(const Match: TMatch): string;
begin
  Result := System.SysUtils.StringReplace(Match.Value, #13#10, Mask, [rfReplaceAll]);
end;

function MaskCRLF(const Source: string; Mask: string): string;
var mr: TmyReplaceRec;
begin
  mr.Mask := Mask;
  Result := TRegEx.Replace(Source, '"[^"]*\n[^"]*"', mr.MyReplace, [roSingleLine]);
end;

function DeMaskCRLF(const Source: string; Mask: string): string;
begin
  Result := System.SysUtils.StringReplace(Source, Mask, #13#10, [rfReplaceAll]);
end;

end.

[Schokohase]

Ihr macht da viel zu viel Brimborium drum.

Hier mal drei Zeilen CSV

Code:

"a","b","c"
"A
a","B
b","C
c"
a,b,c

Die mittlere hat Felder mit Zeilenumbrüchen.

Jetzt die Theorie:
Die Datenzeile ist komplett, wenn die Anzahl der Quote-Zeichen gerade ist.
Also liest man Zeile für Zeile ein, bis man eine gerade Anzahl an Quote-Zeichen hat und gibt diese dann der TStringList Instanz zum auseinandernehmen.

Die erste Zeile hat gleich 6 Quote-Zeichen - ist also komplett.

Die nächste Zeile hat 1 Quote-Zeichen - ist also nicht komplett.
Mit der nächsten Zeile hat man 3 Quote-Zeichen - ist also nicht komplett.
Mit der nächsten Zeile hat man 5 Quote-Zeichen - ist also nicht komplett.
Mit der nächsten Zeile hat man 6 Quote-Zeichen - ist also komplett.

Die letzte Zeile hat 0 Quote-Zeichen - ist also komplett.

KISS

[Blackpit]

@Rollo62
könnte sein das du zu schnell drauf geschaut hast

@MaBuSE
Um CrLf ging es mir gar nicht. Ich hatte Probleme mit Dateien die auch Linefeed als Satztrenner haben.
Bei Dateien mit CrLf als Satztrenner hätte vmtl. TStringList kein Problem.
Deinen Vorschlag mit RegEx werde ich mal testen, wobei es mir gar nicht um den erhalt ging.

@Schokohase
In der Art habe ich es gemacht, jedoch mit den Delimitern.

[Schokohase]

Zitat von Blackpit:

@Schokohase
In der Art habe ich es gemacht, jedoch mit den Delimitern.

Nein, hast du nicht.

Du hast damit aber einen bösen Bug in deinem Code.

Diese Zeile mit 3 Feldern

Code:

a,"b,b",c

und dein Code

Delphi-Quellcode:

cntFields := length( myString )-
              length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));

liefert 3 zurück, obwohl du hier eine 2 benötigen würdest, denn es befinden sich in der Zeile 2 Feldtrenner. Das andere Komma gehört den Daten. StringReplace kann das aber nicht unterscheiden.

Du zählst also die Feldtrenner, was aber wie gezeigt fehleranfällig ist.

Mein Vorschlag ist es die Quote-Zeichen zu zählen, was immer passt.

[Rollo62]

Zitat von Blackpit:

@Rollo62
könnte sein das du zu schnell drauf geschaut hast

Mir gings um den Header ...
Und Du wolltest ein paar Feedbacks bekommen.