![]() |
Einlesen von KAPUTTER Unicode-Datei
Hallo!
Bein Einlesen einer Datei erhalte ich die Exception "Keine Zuordnung für Unicodezeichen in der Multibyte-Zielcodeseite vorhanden". Beim Durchschauen habe ich festgestellt, es sind in der Datei tatsächlich ALLE Sonderzeichen geschrottet und durch die Zeichenfolge
Code:
(aus ANSI-Sichtweise, alle gleich, egal was es vorher mal war) ersetzt worden. Das ist serverseitig passiert und außerhalb meines Einflussbereiches. Das ist zwar doof, sollte aber nicht dazu führen dass mein Programm beim Einlesen aufgibt. Vielmehr hätte ich gerne, dass nicht dekodierbare Unicode-Zeichen als "?" ausgegeben werden. Kann man das mit wenig Aufwand hier ergänzen oder muss ich die gesamte Datei "zu Fuß" scannen?
�
Delphi-Quellcode:
Das ist auch insofern sehr wichtig, damit nicht dekodierbare Zeichen nicht dazu führen, dass sich Multibyte-Zeichen zu mehreren Singlebyte-Zeichen "vermehren" weil das die Logik durcheinander bringt.
LReader := TStreamReader.Create(AStream, TEncoding.Unicode, True, 2048);
try FZeileNr := 0; while LReader.Peek >= 0 do begin ZeileVerarbeiten(LReader.ReadLine); Inc(FZeileNr); end; finally FreeAndNil(LReader); end; Grüße Cody |
AW: Einlesen von KAPUTTER Unicode-Datei
Du liest ja die Datei als UTF-16LE ein. � ist aber UTF-8. Ist das gewollt?
|
AW: Einlesen von KAPUTTER Unicode-Datei
Wie gesagt, die Datei ist kaputt. Sie hat eine Unicode-Preamble, aber die Sonderzeichen sind vermurkst. Gut möglich, dass das ein Mischmasch aus Unicode und UTF8 ist. Mir geht es aber nur um eine Art Failsafe-Modus. So dass der Anwender 90% lesen kann. Immer noch besser als eine schnöde Fehlermeldung und Ende Gelände.
|
AW: Einlesen von KAPUTTER Unicode-Datei
Du könntest die Datei im Falle des Fehlers nochmals einlesen mit TEncoding.UTF8 als Vorgabe?
Nee, sorry, das war Quatsch, das geht bei einer ANSI-Datei, aber nicht bei fixer Mehr-Byte-Codierung (UNICODE)... |
AW: Einlesen von KAPUTTER Unicode-Datei
Zitat:
Zitat:
|
AW: Einlesen von KAPUTTER Unicode-Datei
Ja, ist mir auch schon aufgefallen... (s.o.) *schäm*
|
AW: Einlesen von KAPUTTER Unicode-Datei
Ich arbeite halt immer nur mit ANSI oder UTF8...
|
AW: Einlesen von KAPUTTER Unicode-Datei
Jepp, so seh ich das auch. Wenn ich die Datei mit Notepad++ öffne, dann werden eben jene defekten Zeichen als ein Platzhalter-Rechteck angezeigt. Genau so würde ich das auch gern machen. Irgendein Platzhalter, der wenigstens die Zeichenlänge reserviert, sodass nachfolgende nicht nach rechts weiter gerückt werden.
|
AW: Einlesen von KAPUTTER Unicode-Datei
In meinem Umfeld und bei meinen Anwendungen kann ich mir nicht vorstellen, dass es Sinn macht, mit dieser kaputten Datei weiterzuarbeiten.
Wenn es sich hier also um einen Einzelfall handelt: Warum sollte das Programm dann nicht mit einem - sauber abgefangenen :-) - Fehler aussteigen? Wenn das öfter vorkommt, müsste man wahrscheinlich doch den langen Weg beschreiten und die Ursache des Fehlers angehen. |
AW: Einlesen von KAPUTTER Unicode-Datei
Hallo,
hm, so viele verschiedene (deutsche) Sonderzeichen gibt es doch eigentlich gar nicht. Kannst du die kaputten Zeichen nicht einfach ersetzen? StringList.LoadFromFile StringReplace StringList.Text Das macht natürlich nur Sinn, wenn die häufiger solche Dateien bekommst. |
AW: Einlesen von KAPUTTER Unicode-Datei
Zitat:
|
AW: Einlesen von KAPUTTER Unicode-Datei
Zitat:
|
AW: Einlesen von KAPUTTER Unicode-Datei
Ich bin mir gar nicht mehr sicher, ob es sich wirklich um eine UTF-16 codierte Datei handelt. Im TStreamReader.Create wird zwar ein TEncoding.Unicode übergeben, aber für das DetectBOM wiederum ein True. Damit wird das Unicode-Encoding lediglich zum Fallback, wenn kein BOM gefunden wird.
|
AW: Einlesen von KAPUTTER Unicode-Datei
Zitat:
Zitat:
|
AW: Einlesen von KAPUTTER Unicode-Datei
Hallo,
Zitat:
|
AW: Einlesen von KAPUTTER Unicode-Datei
Das Problem ist, ich weiß ja nicht welche Zeichen kaputt sind. Bei dieser Datei schon, aber es könnte auch eine beliebig andere kaputte Datei geladen werden. Dort liegen wieder andere Kodierfehler vor. Also einfach Suchen und Ersetzen ist nicht.
Aber wenn ich so in die Quellen von TEncoding schaue dann wird für solche Zeichen tatsächlich nichts anderes gemacht als ein RAISE und fertig. Um das zu ändern müsste ich wohl ein komplett eigenes TEncoding schreiben, weil die Methode TEncoding.GetString (wo das RAISE passiert) nicht virtuell ist. Ich glaub da stehen Aufwand und Nutzen in keinem Verhältnis. EDIT: Zitat:
|
AW: Einlesen von KAPUTTER Unicode-Datei
Zitat:
Delphi-Quellcode:
und GetChars macht ein simples Move.
ByteCount div SizeOf(Char)
Was sagt denn der Debugger dazu? |
AW: Einlesen von KAPUTTER Unicode-Datei
Dieser Thread hat keinen Sinn mehr ohne dass du hier einen Screenshot aus einem Hex-Editor (HxD z.B., guck mal auf delphipraxis.net) postest. Da reichen auch die ersten zehn Bytes. Damit ist der Thread sofort, eindeutig und vollumfassend erledigt. Ich bin mir, wie ich bereits im ersten Post geschrieben habe, ziemlich sicher, dass das Problem vor dem PC sitzt und nicht weiß, was für ein Encoding die Datei hat. Eine Datei kann wie erwähnt technisch gesehen unmöglich gleichzeitig eine dreiteilige ANSI-Sequenz und UTF-16-Codepoints enthalten, ohne dass ziemlich genau die Hälfte der Datei aus überwiegend CJK-Zeichen bestände.
Zitat:
|
AW: Einlesen von KAPUTTER Unicode-Datei
Was meinst du mit "dreiteilige ANSI-Sequenz"? Und was meint ihr mit "Sonderzeichen"? Der Begriff kommt wenn ich danach Google bei Unicode nicht vor. Auch bei den Kategorien nicht (
![]() |
AW: Einlesen von KAPUTTER Unicode-Datei
Ich würde es etwas anders formulieren, aber Redeemer hat recht. Ohne einen Hexdump ist das alles nur Spökenkiekerei. Jede Datei enthält binäre Daten. Wenn Ihre Anzeige einen sinnvollen Text ergibt, dann stimmt die Interpretation (zufällig?).
Gruß K-H |
AW: Einlesen von KAPUTTER Unicode-Datei
Ich beende das Thema hier mal, weil wir von der eigentlichen Frage immer weiter abkommen. Es ging darum, ob man den Streamreader dazu bekommt, nicht erkannte Zeichen, für die es keinen Eintrag in der Codetabelle gibt, durch ein Platzhalterzeichen zu ersetzen. Die RTL kann das in der jetzigen Form nicht wie ich inzwischen festgestellt habe. Daher bleibt wohl oder übel nur eine Fehlermeldung auszugeben.
@Redeemer: Bevor du irgendwen angreifst solltest du vielleicht erst mal den ganzen Thread lesen. Danke. |
AW: Einlesen von KAPUTTER Unicode-Datei
Zitat:
Zitat:
|
AW: Einlesen von KAPUTTER Unicode-Datei
Zitat:
Zitat:
|
Alle Zeitangaben in WEZ +1. Es ist jetzt 00:25 Uhr. |
Powered by vBulletin® Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz