Suche nach String mit 'decomposed' Character

[jaenicke]

Ich halte das eher für einen Bug bei der Zeichenkodierung. Ich kenne keine korrekte Möglichkeit, in der 6F 00 08 03 für ein ö steht. Das ist weder UTF-8 noch UTF-16. Das wird offenbar trotzdem richtig gelesen, aber ich verstehe nicht warum.

// EDIT:
08 03 steht für Trema.

[himitsu]

Ich wüsste auch nicht, warum Götterdämmerung eine Dekompositation ergeben sollte, vor allem nicht, da ö und ä das Selbe wären.

Delphi-Quellcode:

procedure TForm2.FormCreate(Sender: TObject);
var
  A, B, C, D: string;
begin
  A := 'xö';
  B := 'xo'#$0308;  // o mit compose-¨
  C := 'xo'#$00A8;  // o mit ¨
  if A = B then
    ShowMessage('aa');  // nö
  if AnsiSameStr(A, B) then  // CompareString mit LOCALE_USER_DEFAULT
    ShowMessage('bb');  // jo
  if AnsiSameStr(A, C) then
    ShowMessage('cc');  // nö

  if StrStr(PChar(A), PChar(B)) <> nil then  // PChar-Variante des Pos
    ShowMessage('dd');  // jo

  SetLength(D, 5);
  SetLength(D, NormalizeString(NormalizationC, PChar(B), 4, PChar(D), 5) - 1);
  if A = D then
    ShowMessage('ee' + sLineBreak + A.Length.ToString + ' ' + B.Length.ToString + ' ' + D.Length.ToString + ' ');  // jo
end;

CompareString oder CompareStringEx,
im Gegensatz zu CompareStringOrdinal.

StrStr
FindNLSString
FindNLSStringEx

NormalizeString
FoldString
MAP_PRECOMPOSED = $20; { convert to precomposed chars }
MAP_COMPOSITE = $40; { convert to composite chars }

WideCharToMultiByte
WC_COMPOSITECHECK = $200; { convert composite to precomposed }

MultiByteToWideChar
MB_PRECOMPOSED = 1; { use precomposed chars }
MB_COMPOSITE = 2; { use composite chars }

[jaenicke]

Zitat von himitsu:

Ich wüsste auch nicht, warum Götterdämmerung eine Dekompositation ergeben sollte, vor allem nicht, da ö und ä das Selbe wären.

Das stimmt nicht. Das ist quasi a und o gefolgt von dem Trema (Zweipunktakzent), in der Datei gespeichert als Big-Endian (0x0803 in UTF-16). Nur dieser Akzent ist identisch.

Ich sehe allerdings für eine solche Zweiteilung keinen Grund bei der Zeichenkodierung.

[Gausi]

Zitat von jaenicke:

Ich sehe allerdings für eine solche Zweiteilung keinen Grund bei der Zeichenkodierung.

Ist auch nicht mein Spezialgebiet, aber deswegen scheint es die Normalisierung (Unicode) zu geben. Der letzte Beitrag von himitsu dürfte auch in diese Richtung gehen, wenn ich das richtig sehe.

[himitsu]

Zitat von jaenicke:

Das ist quasi a und o gefolgt

Ich bin mir sicher, das sah gestern noch aus, wie zwei O.

Irgendwer hat da heimlich 3 Bit geändert.

Zitat von jaenicke:

Ich sehe allerdings für eine solche Zweiteilung keinen Grund bei der Zeichenkodierung.

De Wiki sagt es so schön.

Zitat:

Precomposed characters are the legacy solution for representing many special letters in various character sets. In Unicode, they are included primarily to aid computer systems with incomplete Unicode support, where equivalent decomposed characters may render incorrectly.

So einen ähnlichen Mist gibt es inzwischen auch für Smileys ... Geschlechtsteil und Rasse (Hautfarbe)
Wobei man es hier unvollständig lassen und nicht alles x-fach nochmal aufnehmen wollte.
http://www.unicode.org/L2/L2016/1618...-sequences.pdf