csv Normung

[Pfaffe]

Gibt es eigentlich eine Art DIN für csv? Also eine Normung oder eine Art "Stand der Technik"?
Wir haben eine externe Software mit csv-Schnittstelle, in der wird ein Text nicht gequoted, was zu Problemen führt, da unsere Texte auch das Trennungszeichen beinhalten.

[joachimd]

soweit ich weiß, nicht. Excel, LibreOffice usw bietet bei CSV die diversen Optionen an (mit/ohne Quotes, Trenner beliebig, feste/flexible Spaltenbreite, mit/ohne Titel, Zeichensatz) und auch die Import-Schnittstellen, welche ich bei diversen Datenbanken/Programmen kenne, sind hier recht offen.
An Deiner Stelle würde ich soviel Probleme wie möglich abfangen, d.h.
- mit Titelzeile
- Trenner ';'
- Text in Quotes
- UTF-8

[Daniel]

Einen verbindlichen Standard gibt es leider nicht. Die wichtigsten Aspekte dürften im RFC 4180 (https://tools.ietf.org/html/rfc4180) zusammengefasst sein.
Und ja, es ist eine Pest, wenn externe Software diese Dateien schlampig erstellt.

[Pfaffe]

Danke für die Antworten. Das ist in der Tat ziemlich Blöde.

[Frickler]

Zitat:

Zitat von joachimd (Beitrag 1487103)

soweit ich weiß, nicht. Excel, LibreOffice usw bietet bei CSV die diversen Optionen an (mit/ohne Quotes, Trenner beliebig, feste/flexible Spaltenbreite, mit/ohne Titel, Zeichensatz) und auch die Import-Schnittstellen, welche ich bei diversen Datenbanken/Programmen kenne, sind hier recht offen.
An Deiner Stelle würde ich soviel Probleme wie möglich abfangen, d.h.
- mit Titelzeile
- Trenner ';'
- Text in Quotes
- UTF-8

- Zeilenumbrüche zwischen 2 Feldern
- Zeilenumbrüche innerhalb eines Feldes

[himitsu]

Zitat:

Zitat von Frickler (Beitrag 1487110)

- Zeilenumbrüche innerhalb eines Feldes

Zwischen Quotes isses ja OK (auch wenn viele CSV-Importer nicht verstehen und dann alles falsch zerlegen),

aber es gibt auch so Spaßiges wie #13#10 als Datensatzende und #10 als Zeilenumbruch im Feld.

[Rollo62]

Zitat:

Zitat von Frickler (Beitrag 1487110)

Zitat:

Zitat von joachimd (Beitrag 1487103)

soweit ich weiß, nicht. Excel, LibreOffice usw bietet bei CSV die diversen Optionen an (mit/ohne Quotes, Trenner beliebig, feste/flexible Spaltenbreite, mit/ohne Titel, Zeichensatz) und auch die Import-Schnittstellen, welche ich bei diversen Datenbanken/Programmen kenne, sind hier recht offen.
An Deiner Stelle würde ich soviel Probleme wie möglich abfangen, d.h.
- mit Titelzeile
- Trenner ';'
- Text in Quotes
- UTF-8

- Zeilenumbrüche zwischen 2 Feldern
- Zeilenumbrüche innerhalb eines Feldes

Ja das kommt meistens anders als man denkt.
Ich ersetze meistens alle CrLf innerhalb von Zellen durch \r\n (im C-Stil), und beim Lesen wieder zurück.

Man könne aber auch solche Felder als Base64 oder zu HEX konvertieren, was es dann aber nicht mehr lesbar macht.

[Moombas]

Zitat:

Zitat von Frickler (Beitrag 1487110)

Zitat:

Zitat von joachimd (Beitrag 1487103)

soweit ich weiß, nicht. Excel, LibreOffice usw bietet bei CSV die diversen Optionen an (mit/ohne Quotes, Trenner beliebig, feste/flexible Spaltenbreite, mit/ohne Titel, Zeichensatz) und auch die Import-Schnittstellen, welche ich bei diversen Datenbanken/Programmen kenne, sind hier recht offen.
An Deiner Stelle würde ich soviel Probleme wie möglich abfangen, d.h.
- mit Titelzeile
- Trenner ';'
- Text in Quotes
- UTF-8

- Zeilenumbrüche zwischen 2 Feldern
- Zeilenumbrüche innerhalb eines Feldes

- Unterschiedliche Anzahl an Trennern ("Spalten") in den einzelnen Zeilen sind auch gerne für Probleme ursächlich (Verschiebung der Daten, wenn ein Trenner fehlt)

[dummzeuch]

Nicht zu vergessen die Datums/Uhrzeit und Dezimal-/Tausendertrennzeichen-Hölle.

Es könnte so einfach sein, wenn es ein genormtes Format gäbe, das alle unterstützen...

[Blup]

Zitat:

Zitat von Moombas (Beitrag 1487250)

- Unterschiedliche Anzahl an Trennern ("Spalten") in den einzelnen Zeilen sind auch gerne für Probleme ursächlich (Verschiebung der Daten, wenn ein Trenner fehlt)

Wenn es dadurch zu Verschiebung der Daten kommt, ist das ein Fehler beim Export. Das kann man beim Import höchstens mit einer Fehlermeldung abfangen.

- Je nach Definition können ungenutzte Spalten am Ende der Zeile entfallen.
- Definition Format für Datum/Zeit
- Definition Trennzeichen für Währungsbeträge, Zahlen (Nachkommastellen, optional Tausenderstellen, oder als Festkomma z.B. 10Euro = 1000)

[Moombas]

Zitat:

Zitat von Blup (Beitrag 1487252)

Zitat:

Zitat von Moombas (Beitrag 1487250)

- Unterschiedliche Anzahl an Trennern ("Spalten") in den einzelnen Zeilen sind auch gerne für Probleme ursächlich (Verschiebung der Daten, wenn ein Trenner fehlt)

Wenn es dadurch zu Verschiebung der Daten kommt, ist das ein Fehler beim Export. Das kann man beim Import höchstens mit einer Fehlermeldung abfangen.

- Je nach Definition können ungenutzte Spalten am Ende der Zeile entfallen.

So war es gemeint. Eine Fehlermeldung / Warnung ist besser als eine Verschiebung korrigieren zu müssen.
Bei leeren Zeilen am Ende ist es wie du sagtest theoretisch unkritisch, aber woher willst du wissen das das so korrekt ist (ohne es sich explizit anzuschauen)?
Beispiel:

"Wenn du";"das meinst";"";"";"";"" -> Dort wären die hinteren durchaus möglich sie weg zu lassen. ABER das hätte folgendes Ergebnis:
"Wenn du";"das meinst" -> Wenn du nur dies hast, woher willst du definitiv sicher sein, das es nicht evtl so hätte sein sollen:
"";"";"";"";"Wenn du";"das meinst"

Ein Weglassen halte ich für fahrlässig und würde lieber die leeren "Spalten" haben, denn dann ist es prüfbar. Bei allem anderen läuten bei mir eher die Alarmglocken und würde das jeder Zeit anmahnen.

[Blup]

Man kann nur eines haben, entweder eine Warnung bei fehlenden Spalten oder man akzeptiert fehlende Spalten am Ende.

Denkbar währe die Spalten über die Spaltenbezeichnung in der ersten Zeile oder über eine Konfigurationsdatei zuzuordnen.
Dann kann der Export die genutzten Spalten und deren Reihenfolge definieren. Natürlich dürfen nur vordefinierte Spaltenbezeichnungen verwendet werden.
Die aktuelle Datev-Schnittstelle verwendet z.B. so ein Format.

[Frickler]

Zitat:

Zitat von dummzeuch (Beitrag 1487251)

Nicht zu vergessen die Datums/Uhrzeit und Dezimal-/Tausendertrennzeichen-Hölle.

Vor allem, wenns gemischt auftritt. Ist mir mal bei einer Lieferschein-CSV untergekommen: EK und VK mit Dezimalkomma, aber Anzahl und Gewicht mit Dezimalpunkt. Wer zum Henker kommt denn auf sowas? Und warum?

[TomyN]

Derjenige, der in Excel für die Spalten die Formatierung 'Währung' umstellt bzw. wählt.

[Neumann]

Schön sind auch von Excel verwandelte Scancodes (8,1 E12), merkwürdige Zeichensätze wie Dos xx aus Clipper (gibt es immer noch) und natürlich Textfelder die ungequotet die Trennzeichnen enthalten.

[generic]

Mist - Daniels Beitrag habe ich übersehen...


Es gibt eine Normung für CSV mit der RFC 4180 - nur leider hält sich niemand dran und jeder macht irgend eine Kleinigkeit anders.
https://tools.ietf.org/html/rfc4180

Beispiele sind hier ja bereits genannt.
z.B. ist oben im Beitrag ein ; Semikolon genannt worden, es heißt aber Separated Values ...