utf8 Encoding RichEdit --> Postgres.Text

[nakaramia]

Delphi XE5

Hallo,
mir stellt sich folgendes Problem:

Wenn ich aus einem RichEdit-Feld über einen Stream in die DB einlese, bekomme ich die falsche Zeichencodierung. Die Datenbank hat UTF8 und die FDConnection ist ebenfalls auf UTF8 eingestellt. Dennoch stehen in der DB dann chinesische Schriftzeichen statt der lateinischen Buchstaben. Also werden meine Daten als 16bit behandelt und in 32bit abgelegt. Zumindest ist das Ganze in sich konsistent, so dass die Texte in den RichEdit-Feldern korrekt angezeigt werden, was mir aber in der DB nichts nützt.
Für die TFDQuery nutze ich die default-Einstellungen.

in die Datenbank schreiben

Delphi-Quellcode:

procedure TForm1.WriteAsStream;
var
  ss: TMemoryStream;
begin
  FDQuery1.Open;
  FDQuery1.Append;
  ss := TMemoryStream.Create();
  try
    RichEdit1.Lines.SaveToStream(ss);
    TBlobField(FDQuery1.FieldByName('Stream')).LoadFromStream(ss);
    FDQuery1.Post;
  finally
    ss.Free;
  end;
  FDQuery1.Refresh;
end;

Sieht wunderbar aus in der Delphi-Anwendung, aber in der Datenbank wird deutlich, dass hier ein falsches Encoding übermittelt wird. Ich habe es auch bereits mit einem TStringStream versucht, ändert aber nichts am Problem.

Dann habe ich das Ganze als Parameter in eine Update-Query übergeben.

Delphi-Quellcode:

procedure TForm1.WriteAsParam;
var
  strS: TStringStream;
begin
  FDQuery1.Last;
  FDQuery3.Prepare;
  strS := TStringStream.Create;
  try
    RichEdit1.Lines.SaveToStream(strS);
    FDQuery3.ParamByName('memo').AsMemo := RichEdit1.Text;
    FDQuery3.ParamByName('text').Text := strS.DataString;
    FDQuery3.ParamByName('id').AsInteger := FDQuery1.FieldByName('id').AsInteger;
    FDQuery3.Execute;
    FDQuery3.Close;
  finally
    strS.Free;
  end;
  FDQuery1.Refresh;
  FDQuery1.Last;
end;

Bei AsMemo geht natürlich die Formatierung verloren, aber der Zeichensatz passt. Für die Übergabe des Strings aus dem Stream bekomme ich folgende Fehlermeldung:

Code:

      [FireDAC][Phys][PG][libpq] FEHLER: ungültige Byte-Sequenz für Kodierung „UTF8“: 0x00

Diese erscheint beim selben formatierten Text, der mit der ersten Funktion fehlerfrei aber im falschen Encoding in der Datenbank landet. Es wird deutlich, dass der Fehler über den Stream erzeugt wird, aber mir ist nicht klar, wie ich das behebe.

Hat jemand einen Anregung für mich?

[mjustin]

Standardmäßig besteht RTF (RichText) aus 7 Bit (ASCII) Zeichen. UTF-8 ist im ASCII Bereich eins zu eins (ohne Umkodierung) kompatibel. Also sollte es eigentlich möglich sein, RTF in eine Datenbank hinein- und unverändert wieder heraus zu bekommen.

Was ich versuchen würde:
* kontrollieren ob nicht-ASCII Zeichen enthalten sind
* alle Bytes des Inputs und des Outputs vergleichen und Unterschiede hier posten, eventuell kann man daran eteas erkennen
* das konkrete Datenbanktabellenfeld auf ASCII oder 'ohne Encoding' einstellen

[Perlsau]

Postgres hab ich hier zwar installiert, aber derzeit kein aktuelles Projekt damit am Laufen, weshalb ich das Folgende jetzt nur für Firebird darstellen kann (bzw. keine Lust habe, jetzt extra ein Testprojekt und eine Test-DB zu erstellen):

Wenn ich in Firebird ein Blob-Feld ausschließlich für die Aufnahme eines RichEdit-Textes erstelle, nehme ich die Binär- und nicht die Text-Variante, weil ansonsten ähnliche unerwünschte Phänomene auftreten, wie du sie beschrieben hast. Bei Wahl der Binär-Variante des Blobfeldes findet keine Überprüfung des Zeichensatzes statt, der Stream wird genau so ins Blobfeld eingelesen, wie er vom RichEdit "abgesondert" wird. Damit gibt es keinerlei Verfälschungen oder verzerrte Darstellungen.

[nakaramia]

Danke, bytea passt.

[Perlsau]

Gerne :thumb: Freut mich, wenn's paßt. Heißt ja nicht umsonst: Ruhig bleiben und Tee trinken :lol: