csv Datei Import ClassHelper für TClientDataSet

[MaBuSE]

Zitat von Blackpit:

Hi Folks,
hier eine Implemtierung für LF in Quoted-Fields:
...
Über Feedback würde ich mich freuen.
HTH somebody

Hallo,
ich glaube Deine Lösung würde fehlschlagen, wenn in der 1. Zeile schon ein CRLF in einem Feld enthalten ist.
Wenn ich das beim Lesen richtig verstanden habe entfernst Du einfach die CRLF  myString := myString + slFile[myPos]; . Sie sind dann auch beim Speichern nicht mehr enthalten.

Ich würde noch einen anderen Ansatz vorstellen.
Man könnte die CRLF in den Quoted Fields auch per Regular Expression identifizieren und dann durch ein String ersetzen. Beim Zuweisen der Felder würde man das dann wieder rückgängig machen. Damit sind die CRLF auch in den Datenbank Feldern enthalten.

Damit würde das Beispiel eines ClassHelpers und der einfachen Konvertierung von CSV Dateien via TStringList um ein Beispiel zur Verwendung von System.RegularExpressions und die Verwendung eines Records zum "Erzeugen einer Methode" erweitert

Ich hab mal schnell so was zum Maskieren der CRLF geschrieben. In diesem Beispiel wird das " verwendet. Das kann man natürlich auch noch variabel gestalten.
Der String '"[^"]*\n[^"]*"' müsste dann entsprechende angepasst werden.
Bei Param const QuoteChar: Char = '"' wäre das dann so was wie QuoteChar+'[^'+QuoteChar+']*\n[^'+QuoteChar+']*'+QuoteChar oder Format('%s[^%0:s]*\n[^%0:s]*%0:s', [QuoteChar]) .

Anmerkung zu RegEx. Der verwendete Ausdruck '"[^"]*\n[^"]*"' wurde von mir verwendet, da '".*\n.*"' nicht funktioniert, da das * greedy ist. (Siehe https://www.regular-expressions.info/repeat.html )
Anmerkung zum Replace: Ich habe das an das Beispiel aus der Dokumentation angelehnt (Siehe http://docwiki.embarcadero.com/CodeE...place_(Delphi) )

Mit MaskCRLF werden alle CRLF in "" durch ^P ersetzt.
Mit UnMaskCRLF wird das wieder zu CRLF.

In LoadFromFile müssten nur 2 Zeilen ergänzt werden.
SaveToFile müsste natürlich auch entsprechend geändert werden.

Delphi-Quellcode:

...
uses Unit2; // Die Unit einbinden.
...
    // TClientDataset füllen
    DisableControls;
    slFile.Text := MaskCRLF(slFile.Text); // <----- Diese Zeile ist neu ;)
    for i := 0 to slFile.Count - 1 do
    begin
      slRow.DelimitedText := slFile[i];
      Append;
      for j := 0 to slRow.Count - 1 do
      begin
//        Fields[j].AsString := slRow[j];
        Fields[j].AsString := DeMaskCRLF(slRow[j]); // <----- Diese Zeile wurde geändert ;)
      end;
      Post;
    end;
    EnableControls;
...

Hier ist die verwendete Unit2.pas:
(Ich hab sie noch nicht gespeichert, deshalb hab ich mir auch noch keinen Gedanken über den Unit-Namen gemacht

Delphi-Quellcode:

unit Unit2;

interface

function MaskCRLF(const Source: string; Mask: string = '^P'): string;
function DeMaskCRLF(const Source: string; Mask: string = '^P'): string;

implementation

uses
  System.SysUtils, System.RegularExpressions;

type
  TmyReplaceRec = record
    Mask: string;
    function MyReplace(const Match: TMatch): string;
  end;

function TmyReplaceRec.MyReplace(const Match: TMatch): string;
begin
  Result := System.SysUtils.StringReplace(Match.Value, #13#10, Mask, [rfReplaceAll]);
end;

function MaskCRLF(const Source: string; Mask: string): string;
var mr: TmyReplaceRec;
begin
  mr.Mask := Mask;
  Result := TRegEx.Replace(Source, '"[^"]*\n[^"]*"', mr.MyReplace, [roSingleLine]);
end;

function DeMaskCRLF(const Source: string; Mask: string): string;
begin
  Result := System.SysUtils.StringReplace(Source, Mask, #13#10, [rfReplaceAll]);
end;

end.

[Schokohase]

Ihr macht da viel zu viel Brimborium drum.

Hier mal drei Zeilen CSV

Code:

"a","b","c"
"A
a","B
b","C
c"
a,b,c

Die mittlere hat Felder mit Zeilenumbrüchen.

Jetzt die Theorie:
Die Datenzeile ist komplett, wenn die Anzahl der Quote-Zeichen gerade ist.
Also liest man Zeile für Zeile ein, bis man eine gerade Anzahl an Quote-Zeichen hat und gibt diese dann der TStringList Instanz zum auseinandernehmen.

Die erste Zeile hat gleich 6 Quote-Zeichen - ist also komplett.

Die nächste Zeile hat 1 Quote-Zeichen - ist also nicht komplett.
Mit der nächsten Zeile hat man 3 Quote-Zeichen - ist also nicht komplett.
Mit der nächsten Zeile hat man 5 Quote-Zeichen - ist also nicht komplett.
Mit der nächsten Zeile hat man 6 Quote-Zeichen - ist also komplett.

Die letzte Zeile hat 0 Quote-Zeichen - ist also komplett.

KISS

[Blackpit]

@Rollo62
könnte sein das du zu schnell drauf geschaut hast

@MaBuSE
Um CrLf ging es mir gar nicht. Ich hatte Probleme mit Dateien die auch Linefeed als Satztrenner haben.
Bei Dateien mit CrLf als Satztrenner hätte vmtl. TStringList kein Problem.
Deinen Vorschlag mit RegEx werde ich mal testen, wobei es mir gar nicht um den erhalt ging.

@Schokohase
In der Art habe ich es gemacht, jedoch mit den Delimitern.

[Schokohase]

Zitat von Blackpit:

@Schokohase
In der Art habe ich es gemacht, jedoch mit den Delimitern.

Nein, hast du nicht.

Du hast damit aber einen bösen Bug in deinem Code.

Diese Zeile mit 3 Feldern

Code:

a,"b,b",c

und dein Code

Delphi-Quellcode:

cntFields := length( myString )-
              length( stringreplace( myString, Delimiter,'',[rfreplaceall, rfIgnoreCase]));

liefert 3 zurück, obwohl du hier eine 2 benötigen würdest, denn es befinden sich in der Zeile 2 Feldtrenner. Das andere Komma gehört den Daten. StringReplace kann das aber nicht unterscheiden.

Du zählst also die Feldtrenner, was aber wie gezeigt fehleranfällig ist.

Mein Vorschlag ist es die Quote-Zeichen zu zählen, was immer passt.

[Uwe Raabe]

Zitat von Schokohase:

Mein Vorschlag ist es die Quote-Zeichen zu zählen, was immer passt.

Ich hatte da vor einiger Zeit mal einen class helper für TTextReader geschrieben, der das umsetzt:

Delphi-Quellcode:

type
  TTextReaderHelper = class helper for TTextReader
    function CharCount(const ALine: string; AChar: Char): Integer;
    procedure ReadQuotedLine(Target: TStrings);
  end;

function TTextReaderHelper.CharCount(const ALine: string; AChar: Char): Integer;
var
  C: Char;
begin
  result := 0;
  for C in ALine do begin
    if C = AChar then
      Inc(result);
  end;
end;

procedure TTextReaderHelper.ReadQuotedLine(Target: TStrings);
var
  line: string;
  line2: string;
  saveStrictDelimiter: Boolean;
begin
  line := ReadLine;
  if Odd(CharCount(line, Target.QuoteChar)) then begin
    { Eine ungerade Anzahl von Quotes bedeutet, daß der gequotete String mindestens einen Zeilenumbruch enthält.
      Wir hängen also die nachfolgenden Zeilen mit LineBreak an, bis eine weitere Zeile mit ungerader Anzahl
      Quotes kommt.
    }
    repeat
      line := line + sLineBreak;
      line2 := ReadLine;
      line := line + line2;
    until Odd(CharCount(line2, Target.QuoteChar));
  end;
  { Zeilenumrüche in line dürfen nicht in separate Einträge zerlegt werden! }
  saveStrictDelimiter := Target.StrictDelimiter;
  try
    Target.StrictDelimiter := True;
    Target.CommaText := line;
  finally
    Target.StrictDelimiter := saveStrictDelimiter;
  end;
end;

[Rollo62]

Zitat von Blackpit:

@Rollo62
könnte sein das du zu schnell drauf geschaut hast

Mir gings um den Header ...
Und Du wolltest ein paar Feedbacks bekommen.

[Blackpit]

@Schokohase

Zitat von Schokohase:

Du hast damit aber einen bösen Bug in deinem Code.

Da bin ich mal froh, das mir das TStringlist schon abnimmt
Try it!

@Rollo62
Header wird erzeugt wenn nicht vorhanden

@Uwe Raabe
Auch elegant gelöst!
Ist aber nur ein Teil der Aufgabe

[Schokohase]

Zitat von Blackpit:

@Schokohase

Zitat von Schokohase:

Du hast damit aber einen bösen Bug in deinem Code.

Da bin ich mal froh, das mir das TStringlist schon abnimmt
Try it!

I did

Code:

EStringListError: Listenindex außerhalb des gültigen Bereichs (3)

Meine Testdaten

Delphi-Quellcode:

'a;b;c;d' + sLineBreak + 
'a;"b;b";"c'#10'c";d'

oder als Text

Code:

a;b;c;d
a;"b;b";"c
c";d

Du solltest schon wissen, was dir TStringList abnimmt und vor allem ab wann.

Im Übrigen fängst du erst ab der 2. Zeile mit dem Import an - auch wenn der Parameter FirstLineTitle auf false steht.

[Blackpit]

Zitat von Schokohase:

...Im Übrigen fängst du erst ab der 2. Zeile mit dem Import an - auch wenn der Parameter FirstLineTitle auf false steht.

Da hast du allerdings Recht.

Code:

If X=0 and (not FirstLineTitle)

Zitat von Schokohase:

Du solltest schon wissen, was dir TStringList abnimmt und vor allem ab wann.

Ich denke das tu ich schon, hast du meine Intention verstanden?
Und wie oft ist dir dein Beispiel im Alltag begegnet?
Wobei auch deine Konstellation unter meinen Voraussetzungen läuft.

Hmm