CSV mit gemischter Codierung lesen

[himitsu]

Das UTF8Decode in der System.pas ist da sehr rabiat und gut nutzbar, für soeinen Mist.
> bei ungültigem UTF-8 gibt das einfach einen Leerstring zurück, anstatt einer Fehlermeldung.

Delphi-Quellcode:

var
  A: AnsiString;
  S: string;  // UnicodeString

A := ...;
if (A <> '') and (UTF8Decode(A) <> '') then
  S := UTF8Decode(A)
else
  S := A;  // hier eventuell TEncoding, mit passender CodePage ... oder A als String mit CodePage definieren, siehe UTF8String in der System.pas
S := HTMLEncode(S);

http://stackoverflow.com/questions/2...-escaping-html
http://www.delphipraxis.net/148888-u...vertieren.html
Es dürfte dafür bestimmt auch irgendwo in den INDY ein Code versteckt sein.

[p80286]

Zitat von himitsu:

Das UTF8Decode in der System.pas ist da sehr rabiat und gut nutzbar, für soeinen Mist.
> bei ungültigem UTF-8 gibt das einfach einen Leerstring zurück, anstatt einer Fehlermeldung.

Das könnte aber unproduktiv sein, da dann der Chef auf der Matte steht und meckert wo denn die Lücken herkommen.
Langfristig gesehen, empfehle ich den Produzenten solcher Daten, die Finger einzeln zu brechen.


Gruß
K-H

[himitsu]

Ich meinte "TEncoding" ersetzt "ungültige" Zeichen/Zeichenfolgen durch "?" und UF8Encode macht einfach garnichts.

Heißt, daß man UTF8Encode was reingeben kann und wenn nichts rauskommt, dann war es kein valides UTF-8
und dann nimmt man einfach was Anderes.

[dataspider]

Zitat von himitsu:

Ich meinte "TEncoding" ersetzt "ungültige" Zeichen/Zeichenfolgen durch "?" und UF8Encode macht einfach garnichts.

Heißt, daß man UTF8Encode was reingeben kann und wenn nichts rauskommt, dann war es kein valides UTF-8
und dann nimmt man einfach was Anderes.

Ich habe mal Screenshot vom Debugger angehangen.
Da kann man den String (original) mit dem nach UTF8Decode vergleichen.

Damit kann ich wirklich nichts sinnvolles anfangen.
Es ist aber auch nicht gerade mein "Fachgebiet"...

Frank

[p80286]

War weiter oben nicht die Rede von einem Ansi-String?
Und im Zweifel bevorzuge ich in solchen Fällen die Darstellung als Text und Hex-Code, Text ist auch immer nur interpretiert.

Gruß
K-H

[nahpets]

Für so ein aberwitziges Zeichenänderungsumgewusel hab' ich mit mal angehängte Funktion geschrieben.

Nicht elegant, aber erweiterbar für allen möglichen Schrott, den man da so geliefert bekommen könnte.

[OT]Da die Forumssoftware einige der auszutauschenden Zeichenfolgen interpretiert und daher der Quelltext verfälscht wird, hab' ich die Routine hier nicht zwischen Delphi-Tags reingepackt.[/OT]

[dataspider]

Zitat von p80286:

War weiter oben nicht die Rede von einem Ansi-String?
Und im Zweifel bevorzuge ich in solchen Fällen die Darstellung als Text und Hex-Code, Text ist auch immer nur interpretiert.

Gruß
K-H

Ich habe das auch mit AnsiString getestet. Das Ergebnis ist gleich. Und zum Analysieren nehme ich immer die HEX - Ansicht.

Zitat von nahpets:

Für so ein aberwitziges Zeichenänderungsumgewusel hab' ich mit mal angehängte Funktion geschrieben.

Vielen Dank, damit kann ich meine Liste erweitern.
Das erspart mir etwas Arbeit.

Frank

[himitsu]

Einmal String (UnicodeString) und es ist alles zu spät, denn diese Konvertierung kann schon zu viel zerstört haben und zurückkonvertieren ist nicht immer möglich.
probier mal Folgendes: nimm einen Text, lass ihn von Google-Translate in irgendeine Sprache übersetzen und schau nach, was raus kommt, wenn du es versuchst wieder zurück zu übersetzen.

Und wie ich schon gesagt hab, mußt du jeden Wert einzeln übersetzen, was einem auch klar sein sollte.
Nimm einen Text, wo du mehrere Sprachen benutzt.
Egal in welcher Reihenfolge der vielen Sprachen du versuchst das nach deutsch zu übersetzen, kann niemals was Ordentliches bei rauskommen, wenn man das versucht im Ganzen zu übersetzen.

[freejay]

Wenn Du mir eine Beispieldatei zukommen lassen könntest (muss ja nix großes sein), könnte ich mal schauen, ob mein StreamReader das sauber lesen kann. Der wechselt nämlich das Encoding, wenn's sein muss - soweit ich mich recht erinnere...

[dataspider]

Zitat von himitsu:

Und wie ich schon gesagt hab, mußt du jeden Wert einzeln übersetzen, was einem auch klar sein sollte.
Nimm einen Text, wo du mehrere Sprachen benutzt.
Egal in welcher Reihenfolge der vielen Sprachen du versuchst das nach deutsch zu übersetzen, kann niemals was Ordentliches bei rauskommen, wenn man das versucht im Ganzen zu übersetzen.

Danke für die Erklärungen.
Ich hatte auch daran gedacht (wie von B.G. ja schon empfohlen), die Spalten einzeln zu decodieren.
Aber ich komme nicht umhin, vorher die Codierungen wie "& # 2 5 2 ;" zu ersetzen, da das letzte Semikolon (dank fehlender Quoten) ja als Delimiter interpretiert wird.

Zitat von freejay:

Wenn Du mir eine Beispieldatei zukommen lassen könntest (muss ja nix großes sein), könnte ich mal schauen, ob mein StreamReader das sauber lesen kann. Der wechselt nämlich das Encoding, wenn's sein muss - soweit ich mich recht erinnere...

Vielen Dank für das Angebot. Aber ich versuche immer erst mal, mit eigenem Code hinzukommen.
Und momentan ist dieser Fall gelöst. Der Hersteller der Software, der die CSV erzeugt, hat auch ein Schreiben von mir und ich hoffe,
dass das Problem diesmal an der Wurzel beseitigt werden kann.

Frank