Unterschied UTF8 / Unicode

[TheMiller]

Hallo,

ich bin auf Delphi 2009 umgestiegen und passe nun meine Projekte an. Dabei verstehe ich den Unterschied zwischen UTF-8 und Unicode nicht, was mich zu einem Problem führt. Also:

Das eine Projekt hat im Hintergrund eine Firebird-Datenbank. Mittels einer Boolean-Variable kann ich beim Connecten mit der DB-Klasse entscheiden, ob die Verbindung und Strings UTF-8 sein sollen. Meine gesamte Datenbank hat als Charset und Collate UTF8 eingestellt.

Verwende ich nun den Datentyp "String" im Projekt (was ja Unicode-String ist, oder?), bekomme ich die Meldung "Malformed String" von Firebird.

Dann habe ich mal testweise die Charset und Collate auf Unicode_CI gestellt, UTF8-Boolean-Schalter auf true gesetzt und nun kann ich Strings mit Umlauten eintragen.

Ich dachte aber bisher immer, dass UTF8 Unicode ist. War meine Vorgehensweise hier überhaupt richtig - oder nur Zufall?

Bitte um Hilfe und/oder Aufklärung

Danke!

[mkinzler]

Unicode ist ein Überbegriff, UTF-8 eien konkrete Unicode-Implementierung/Codierung.
Delphi verwendet wie Windows aber UTF-16

[TheMiller]

Ok. Das heißt, ich muss die Datenbank komplett auf "Unicode" umstellen und nicht auf UTF-8 stehen lassen. Alternative wäre, beim lesen/schreiben ein "utf8decode"/"utf8encode" zu verwenden, oder?
Hab ich das richtig verstanden?

[mkinzler]

Die Konvertierung sollte deine Zugriffsbibliothek erledigen. UTF-16 ist eine realtiv einfache Implemnetierung, hierbei werden anstatt der 8 Bit bei ASCII/Ansi 16Bit pro Zeichen verwendet. Bei UTF-8 ist die Anzahl variabel ( wichtige Zeichen 8, weniger wichtige 16 oder mehr Bit)

[TheMiller]

Zitat von mkinzler:

Die Konvertierung sollte deine Zugriffsbibliothek erledigen.

Verstehe ich gerade nicht. Meine Zugriffsbibliothek ist meine Datenbankklasse mit den Methoden "Write","Read","Change","Delete" etc.

Nun habe ich in meinem Post vorgeschlagen, in diesen Methoden die Konvertierung mittels utf8encode einzubauen.

Was du mir geschrieben hast, bedeutet das ein "Ja, kannst du so machen", oder eher ein "Nein, das macht man ganz anders" Falls letzteres, dann habe ich deine Antwort nicht verstanden

Danke.

[mkinzler]

Du verwendest also direkz fbclient.dll-Funktionen?

[TheMiller]

Nein, ich benutze ZEOS zur Verbindung mit der Datenbank (Firebird Embedded).

Zur einfachen Steuerung habe ich mir eine Klasse geschrieben, die unter anderem die DB liest/schreibt. Diese Methoden sind so aufgebaut:

Delphi-Quellcode:

procedure TDBBase.Read(Obj: TObject);
var
  Test: TTest;
begin
  if (Obj is TTest) then
  begin
    Obj.Property1:=getString('[SPALTEN_NAME]');
  end;
end;

//ReadString:
function TDBBase.getString(Field: string): String;
begin
  if (fdbUTF8) then
  begin
    result:=utf8decode(ZQuery.FieldByName(Field).AsString);
  end else
  begin
    result:=ZQuery.FieldByName(Field).AsString;
  end;
end;

Ein aufruf erfolgt dann so:

Delphi-Quellcode:

var
  Test: TTest;
begin
  Test.ID:=20;
  Read(Test);
  ShowMessage(Test.Property1);
  Test.Free;
end;

So habe ich das bisher immer gemacht. Wenn UTF8 auf True steht, wird Zeos als Verbindungsparameter "codepage=utf8" übergeben. Das hat bis Delphi 2009 super funktioniert.

[mkinzler]

ZQuery.FieldByName(Field).AsString liefert dir aber einen UnicodeString (UTF-16) und keinen UTF8 codierten RawByteString.

[TheMiller]

Also liegt das Problem darin, dass in der Datenbank utf8 verwendet wird und Zeos (Version 7) einen "vollen" Unicode-String zurückgibt. Deswegen hat es auch funktioniert, als ich die Spalten auf "Unicode" gestellt habe. Habe ich das richtig verstanden?

Was würdest du mir jetzt raten? Das Programm ist schon länger im praktischen Einsatz und die Benutzer haben logischerweise auch viele Daten eingetragen. Soll ich nun meine Klasse abändern, oder soll ich versuchen, die Daten/Felder ins Unicode-Format zu bekommen?

Wie konvertiere ich denn zwischen utf8 und Unicode?

[mkinzler]

Zeos scheint den Umschwung nach Unicode (UTF-16) noch nicht ganz geschafft zu haben.
http://zeosbugs.firmos.at/view.php?id=214
Wurde aber in Zeos7 Alpha gefixt