Codierung (ANSI, UTF-8) einer Textdatei ermitteln

[Blitzwunder]

Hallo,

ich habe eine slowakische Textdatei, die in UTF-8 codiert ist, meine Standard-Textfiles sind aber ANSI codiert.
Wie finde ich nun mit DELPHI heraus, welche Codierung verwendet wurde?
Ich will beide Format in meiner Applikation einlesen und anzeigen können.

Gruß
blitzwunder

[Bernhard Geyer]

über den BOM-Header der Datei.

Am einfachsten ist es aber Unicode-Fähige Controls wie das Elpack oder die TNTWare-Komponenten zu verwenden. Diese bieten eigentlich schon fertige Leseroutinen an.

AFAIK müsste irgendwo im Forum (Codelib?) auch ein fertiger Code zum erkennen der Codierung einer Textdatei vorhanden sein.

[BUG]

Ich mach mal ein bisschen Werbung: Unicode-Bibliothek/Konverter

Zitat von Bernhard Geyer:

über den BOM-Header der Datei.
ein fertiger Code zum erkennen der Codierung einer Textdatei

Vielleicht kannst du es gebrauchen, insbesondere die Prozedur "detectBOM".

Zitat von Bernhard Geyer:

Am einfachsten ist es aber Unicode-Fähige Controls wie das Elpack oder die TNTWare-Komponenten zu verwenden. Diese bieten eigentlich schon fertige Leseroutinen an.

Das ist wahrscheinlich die bessere Lösung.

MfG,
Bug

[x000x]

Zitat von Bernhard Geyer:

über den BOM-Header der Datei.

Hallo Bernhard,
wenn die Datei aber kein BOM hat?

Irgendwo im Forum habe ich gelesen, dass dann nur raten möglich wäre.
Hat jemand eventuell schon eine Funktion dafür?

VG Peter

[himitsu]

Nee, da es nicht möglich ist, eine allgemein gültige Funktion zu schreiben, da jeder andere Ergebnisse der Ratefunktion erwarten würde/könnte und man es keinem Recht machen könnte.

Die einzige wirkliche Lösung wäre, wenn man die Datei, bzw. einen Sream versucht mit allen bekanten Textkodierungen zu dekodieren, das was dabei rauskommt durch eine Sprachanalyse jagt, welche alle nötigen Sprechen beherscht und sich dann die wahrscheinlichste der erfolgreichen Lösungen rauspickt.

Und das ist einfach zu aufwändig.

[Bernhard Geyer]

Zitat von x000x:

Zitat von Bernhard Geyer:

über den BOM-Header der Datei.

Hallo Bernhard,
wenn die Datei aber kein BOM hat?

Irgendwo im Forum habe ich gelesen, dass dann nur raten möglich wäre.

Raten mit entsprechenden Fehlerquote. Raten würde über Wahrscheinlichkeiten gehen mit entsprechenden falschwahl.


Erste stufe wäre nach $00-Werten zu suchen. Dann hätte man schon mal mit hoher Wahrscheinlichkeit UTF-16 vor sich.
Dnn schauen ob es gerade oder ungerade Werte sind -> Big-Endian-Erkendung.

Und falls keine $00 -> Ansi (oder mit sehr geringer Wahrscheinlichkeit z.B. ein rein chinesicher Text). Und wenn du hier noch die Codepage erkennen willst heißt es sprachanalyse: Welche Sprache hat welche Zeichen mit welcher Wahrscheinlichkeit hintereinander.

[mkinzler]

Dann könnte man ggf. per Wörterbuchsuche schauen, ob etwas sinnvolles in der datei steht.
Auf jeden Fall ist Raten eine schlechte Methode.

[Luckie]

http://blogs.msdn.com/b/oldnewthing/.../24/95235.aspx und
http://blogs.msdn.com/b/oldnewthing/...7/2158334.aspx

[ConnorMcLeod]

ich weiss nicht mehr, wo diese Idee her ist; mglw von Himitsu:

Delphi-Quellcode:

var
  sData       : TFileStream;
  sInhalt     : WideString;
  nBytes      : int64;
  Buffer      : TBytes;
  Encoding    : TEncoding;
begin
  sData     := TFileStream.Create(AFileName, fmOpenRead);
  try
    sData.Seek(0, soFromBeginning);
    nBytes := sData.Size - sData.Position;
    SetLength(Buffer, nBytes);
    Encoding := nil;
    sData.Read(Buffer[0], nBytes);
    nBytes   := TEncoding.GetBufferEncoding(Buffer, Encoding);
    sInhalt  := Encoding.GetString(Buffer, nBytes, Length(Buffer)-nBytes);

Ist daran etwas nicht gut?

[Gausi]

Wenn ich mir den Code von GetBufferEncoding unter Delphi 2009 so anschaue, wird da einfach nur ein passendes BOM gesucht. Also das, was ab 2009 Delphi auch automatisch macht, z.B. bei TStringList.LoadFromFile. Wenn man damit arbeitet, sollten unterschiedliche codierte Textdateien kein Problem sein (wenn ein BOM vorhanden ist, sonst wird das schwieriger ).

Die Heuristik zur Erkennung bei Notepad ist imho aber auch besser geworden. Zumindest kann man unter Windows 7 jetzt "Blödsinn" damit schreiben.