Unicode: UTF-16 surrogate pairs?

[Deep-Sea]

Morgen allerseits ...

Bei meinen Experimenten mit Unicode habe ich festgestellt, dass Delphi mit UTF-16 surrogate pairs nicht umgehen kann. Stimmt das, oder bin ich wieder einmal nur zu doof?

Noch eine Kleinigkeit: U+0000 ist ya definiert - aber wie soll man so die BOM von UTF-16 eindeutig von UTF-32 unterscheiden, wenn ein UTF-16-Text mit zwei "Nullen" starten kann?

Danke ...

[Bernhard Geyer]

Zitat von Deep-Sea:

Bei meinen Experimenten mit Unicode habe ich festgestellt, dass Delphi mit UTF-16 surrogate pairs nicht umgehen kann. Stimmt das, oder bin ich wieder einmal nur zu doof?

Was hast du probiert?

Zitat von Deep-Sea:

Noch eine Kleinigkeit: U+0000 ist ya definiert

<control> = NULL

Zitat von Deep-Sea:

- aber wie soll man so die BOM von UTF-16 eindeutig von UTF-32 unterscheiden, wenn ein UTF-16-Text mit zwei "Nullen" starten kann?

Wieso nicht? Siehe Wikipedia

[Deep-Sea]

Zitat von Bernhard Geyer:

Was hast du probiert?

Einen String anzuzeigen, der ein surrogate pair enthielt. Resultat: Es werden zwei nicht darstellbare Zeichen angezeigt - wie man es erwartet, wenn surrogate pairs nicht unterstützt werden. Nur woran liegt das? Delphi? Windows? ...

Zitat von Bernhard Geyer:

Wieso nicht? Siehe Wikipedia

Zitat von Wikipedia:

UTF-16 Little Endian FF FE
UTF-32 Little Endian FF FE 00 00

Genau. Beide starten gleich und eine UTF-16 Datei darf ya Null-Zeichen enthalten, z.B.: FF FE 00 00 ... und nun? Dann sieht es aus was wäre es UTF-32 ...

[Bernhard Geyer]

Zitat von Deep-Sea:

Einen String anzuzeigen, der ein surrogate pair enthielt. Resultat: Es werden zwei nicht darstellbare Zeichen angezeigt - wie man es erwartet, wenn surrogate pairs nicht unterstützt werden. Nur woran liegt das? Delphi? Windows? ...

Welche Windows-Version? AFAIK wird UTF-16 erst ab XP bzw. W2K unterstützt.

Zitat von Deep-Sea:

Zitat von Bernhard Geyer:

Wieso nicht? Siehe Wikipedia

Zitat von Wikipedia:

UTF-16 Little Endian FF FE
UTF-32 Little Endian FF FE 00 00

Genau. Beide starten gleich und eine UTF-16 Datei darf ya Null-Zeichen enthalten, z.B.: FF FE 00 00 ... und nun? Dann sieht es aus was wäre es UTF-32 ...

Nein. In einem UTF-16-String ist 0000 der Kennzeichner für String-Ende. (So wie 00 für einen Ansi-String der Ende-Kennzeichner ist). Und damit weist du nach den Bytes 3+4 das es eine UTF-32 Datei ist.
Schon mal Probiert einen String mit 0000 einer Wide-WinAPI zu übergeben? Der String wird dort abgeschnitten. Delphi kann mit String-Endekennzeichnern mitten im String umgehen. C/C++ jedoch nicht (und auch alle C-Kompatiblen Schnittstellen auch nicht).

[Deep-Sea]

Zitat von Bernhard Geyer:

Welche Windows-Version? AFAIK wird UTF-16 erst ab XP bzw. W2K unterstützt.

XP. Sind hier in der Firma voll up-to-date ...
PS: Mein Firefox kann damit (sehr gut) umgehen. Aber den juckt Windows wahrscheinlich auch net sonderlich - sofern es an Windows liegt ...

Zitat von Deep-Sea:

Schon mal Probiert einen String mit 0000 einer Wide-WinAPI zu übergeben? Der String wird dort abgeschnitten. Delphi kann mit String-Endekennzeichnern mitten im String umgehen. C/C++ jedoch nicht (und auch alle C-Kompatiblen Schnittstellen auch nicht).

Ya das weiß ich natürlich, aber es ist prinzipiell möglich U+0000 zu nutzen Na ok, war ya auch nur eine Randfrage ...

[himitsu]

Die #$0000 (alleinestehend) gehört doch garnicht zu den Surrogate Pairs (#$D800..#$DBFF, #$DC00..#$DFFF)

Im Normalfall wird die #0 als Ende-Markierung genutzt und demnach wäre es doch ein bissl schwachsinnig diese gleich als erstes Zeichen nach der BOM zu schreiben.
Und demnach kommt einfach in UTF16 kein FF FE 00 00 am Anfang vor.


http://en.wikipedia.org/wiki/UTF-16/UCS-2
http://unicode.org/faq/utf_bom.html#utf16-2

[Bernhard Geyer]

Zeig mal deinen Quellcode zur Ausgabe des Surrogate Pairs.

[Deep-Sea]

Zitat von himitsu:

Die #$0000 (alleinestehend) gehört doch garnicht zu den Surrogate Pairs (#$D800..#$DBFF, #$DC00..#$DFFF)

Waren ya auch zwei verschiedene Fragen von mir die nix miteinander zu tun haben

Zitat von Bernhard Geyer:

Zeig mal deinen Quellcode zur Ausgabe des Surrogate Pairs.

Hab keinen mehr, waren ya nur Tests. Wie wäre es mit Canvas.TextOut(0, 0, #$D834 + #$DD1E); // Notenschlüssel Aber mal 'ne andere Frage: Wer hat denn schon mal erfolgreich ein Zeichen das nicht im BMP steht mit Delphi ausgegeben?

[Bernhard Geyer]

Zitat von Deep-Sea:

Hab keinen mehr, waren ya nur Tests. Wie wäre es mit Canvas.TextOut(0, 0, #$D834 + #$DD1E); // Notenschlüssel

Sag mal: Welche Delphi-Version verwendest Du? Links steht ja bei dir noch D2006

[Deep-Sea]

Zitat von Bernhard Geyer:

Sag mal: Welche Delphi-Version verwendest Du? Links steht ja bei dir noch D2006

Ups, wohl vergessen zu ändern *schnell noch mach* > D2009 Pro