utf8decode(ÄÄÖÜ) wieso macht er das nicht ?

[agm65]

hi leute ich habe ein problem mit dem utf8decode() irgendwie decodiert er keine großen umlaute ?
kann man das was machen zB

 memo1.text := utf8decode('ÄÖÜ');

[marabu]

Hi,

so wie es aussieht, übergibst du ANSI-kodierte Umlaute - utf8Encode() würde da mehr Sinn machen.

Grüße vom marabu

[hathor]

Delphi-Quellcode:

function FromUTF8 (const S: String): WideString;
var a,b,c: char;
     i,j: Integer;
begin
  i:=1; j:=1;
  SetLength(result,length(S));
  while i<=length(S) do
  begin
    a:=S[i]; Inc(i);
    if byte(a)<$80 then
    begin
        result[j]:=wchar(a);
        Inc(j);
        continue;
    end;
    if i>length(S) then break;
    b:=S[i]; Inc(i);
    if (byte(a)<$E0) or (i>length(S)) then
    begin
        result[j]:=wchar(((byte(a) and $1F) shl 6) or (byte(b) and $3F));
        Inc(j);
        continue;
    end;
    c:=S[i]; Inc(i);
    result[j]:=wchar(((byte(a) and $F) shl 12) or ((byte(b) and $3F) shl 6) or (byte(c) and $3F));
    Inc(j);
  end;
  SetLength(result,j-1);
end; {FromUTF8}


//Beispiel
procedure TForm1.Button1Click(Sender: TObject);
begin
Edit2.text:= FromUTF8(Edit1.text);
end;

[agm65]

also aus der db kommt es so Ã?Ã?Ã?Ã?Ã?Ã?Ã?

utfencode macht garnichts und utfdecode, decodiert nur kleine umlaute ?

[agm65]

zu hathor, gleiches problem wie utf8decode, versucht mal nur ein großes Ö zu decoden !

[marabu]

Hallo Peter,

bei mir funktioniert das alles einwandfrei mit der Konvertierung, dein Problem liegt woanders. Schau dir mal die Hexcodes an, die du aus der DB bekommst - am Besten du zeigst die auch mal hier.

Freundliche Grüße

[Bernhard Geyer]

Zitat von agm65:

also aus der db kommt es so Ã?Ã?Ã?Ã?Ã?Ã?Ã?

Wenn es wirklich so kommt sind die Daten eh schon kaputt! Da ist kein gültiges UTF-8!

Welche DB in welcher Version verwendest du mit welche Zugriffskomponenten?

[agm65]

okay leute, es lag an der soap übertragung zu delphi ! danke trotzdem !

[hathor]

Zitat von agm65:

zu hathor, gleiches problem wie utf8decode, versucht mal nur ein großes Ö zu decoden !

"Ö" ist NICHT UTF-8-codiert!

Unicode-Zeichen größer als 127 werden in der UTF-8-Kodierung zu Byteketten der Länge zwei bis vier kodiert.

[Redeemer]

Zitat von hathor:

Delphi-Quellcode:

function FromUTF8 (const S: String): WideString;
...

Diese Funktion hat mir die letzten Jahre gute Dienste als Ersatz für die fehlerhafte UTF8Decode-Funktion in Delphi 2009 geleistet, weil sie zur Interaktion mit einem Produkt genutzt wurde, welches nur die Basic Multilingual Plane (BMP) unterstützt. Irgendwie haben es jedoch Leute geschafft, andere Zeichen in die Datenbank zu bekommen und als UTF-8 zu speichern. Die obige Funktion unterstützt jedoch UTF-8 nicht und hat deshalb zu Datenverlust geführt. Sie konvertiert lediglich CESU-8 nach UTF-16. Lässt sich das Ergebnis in UCS-2 darstellen, wird als Nebeneffekt auch UTF-8 nach UCS-2 konvertiert, da sich CESU-8 und UTF-8 da ebensowenig unterscheiden wie UCS-2 und UTF-16. Will man UTF-8 außerhalb der BMP nach UTF-16 konvertieren (was bei Delphi normalerweise der Fall ist, da ein WideString UTF-16-Zeichen enthält), produziert die Funktion nur noch Blödsinn.

Da die entsprechend angepasste Funktion auch für andere Nutzer interessant sein könnte, spiel ich mal wieder den Totengräber. Die Funktion konvertiert UTF-8 und CESU-8 nach UTF-16.

Delphi-Quellcode:

function FromUTF8 (const S: String): WideString;
var a,b,c,d: char;
     i,j: Integer;
     k: Cardinal;
begin
  i:=1; j:=1;
  SetLength(result,length(S));
  while i<=length(S) do
  begin
    a:=S[i]; Inc(i);
    if byte(a)<$80 then
    begin
        result[j]:=widechar(a);
        Inc(j);
        continue;
    end;
    if i>length(S) then break;
    b:=S[i]; Inc(i);
    if (byte(a)<$E0) or (i>length(S)) then
    begin
        result[j]:=widechar(((byte(a) and $1F) shl 6) or (byte(b) and $3F));
        Inc(j);
        continue;
    end;
    c:=S[i]; Inc(i);
    if (byte(a)<$F0) or (i>length(S)) then
    begin
      result[j]:=widechar(((byte(a) and $F) shl 12) or ((byte(b) and $3F) shl 6) or (byte(c) and $3F));
      Inc(j);
      continue;
    end;
    d:=S[i]; Inc(i);
    k := ((byte(a) and $7) shl 18) or ((byte(b) and $3F) shl 12) or (byte(c) and $3F shl 6) or (byte(d) and $3F);
    result[j]:=widechar((k - $10000) shr 10 and $3FF or $D800);
    Inc(j);
    result[j]:=widechar(k and $3FF or $DC00);
    Inc(j);
  end;
  SetLength(result,j-1);
end;

Laut deutscher Wikipedia muss die kürzeste mögliche Kodierung gewählt werden. Daher kann man annehmen, dass ein durch 4 Zeichen kodierter Codepunkt nicht in der BMP liegt, sodass man ihn über UTF-16-Surrogates kodieren muss.