Unicode Widestrings

[bioser]

Hallo,

ich habe bereits eine fertige Routine, die mir normale "Strings" aus
einer Textdatei holt. Jetzt liegt mir eine Unicode Textdatei vor.
Kann ich meine Routine, die auf strings basiert, trotzdem benutzen,
um diese Unicode Widestrings aus der Textdatei zu lesen und dann
mittels den TNTControls auf meinem Formular darzustellen ?
Bin dankbar für jede Antwort.

Gruss
bioser

[himitsu]

Nein, das geht nicht, denn entweder wird bei dir falsch ausgelesen (du hast ja vergessen zu sagen wie du ausließt), oder es wird zwischendurch von Unicode nach ANSI und dann wieder zurück umcodiert.
Und da ANSI nicht alle informationen von Unicode verwalten kann (vieles wird dann in einen Ersatzwert umgewandelt - meißtens das "?"), ann kann die Rückcodiereung ANSI > Unicode nicht funktionieren.

Du mußt also die ganze Zeit über deine Textinformationen in Unicode, oder höherem gespeichert haben.


Wenn du jetzt ber genauere nformationen zu deinem Problem wissen möchtest, dann wäre es nicht schlecht, wenn du uns mal etwas über deine fertige Routine normalen "Strings" verrätst ;)

[Robert Marquardt]

Eine Unicode-Datei hat ueblicherweise am Anfang ein BOM. Das ist ein Wort das anzeigt in welchem Format die Zeichen sind.
$FFFE oder $FEFF. Die haeufigste Unicode-Kodierung ist mit zwei Bytes und dabei tritt natuerlich ein Bytesex-Problem auf.
Anhand des BOM kann man nun erkennen welcher Bytesex verwendet wird.

Verwende doch die TWideStringList der JCL (JclUnicode.pas).

[himitsu]

erinnert mich irgendwie an was ^^
drum hab ich in meinen Dateifunktionen auch 'ne Prüfung mit drin, welche erstmal das Format ermittelt und dann auch noch die Markerbytes überspringt.

Delphi-Quellcode:

Function TextMode(Var F: TFile): TFileMode;
  Var i: LargeInt;
    L: LongChar;
    R: LongInt;

  Begin
    F.RecSize_TextMode := fmANSI;
    i := FilePos(F);
    FilePos(F, 0);
    ReadData(F.FileHandle, @L, 4, @R, nil);
    If (R >= 4) and (L = $0000FEFF) Then F.RecSize_TextMode := fmUCS4
    Else If (R >= 4) and (L = $FFFE0000) Then F.RecSize_TextMode := fmUCS4BE
    Else If (R >= 2) and (Word(L) = $FEFF) Then F.RecSize_TextMode := fmUCS2
    Else If (R >= 2) and (Word(L) = $FFFE) Then F.RecSize_TextMode := fmUCS2BE;
    If (F.RecSize_TextMode = fmUCS2) or (F.RecSize_TextMode = fmUCS2BE) Then Begin
      If i > 2 Then Inc(i) Else i := 2;
      TLargeIntRec(i).Lo := TLargeIntRec(i).Lo and not 1;
    End Else If (F.RecSize_TextMode = fmUCS4) or (F.RecSize_TextMode = fmUCS4BE) Then Begin
      If i > 4 Then Inc(i, 3) Else i := 4;
      TLargeIntRec(i).Lo := TLargeIntRec(i).Lo and not 3;
    End;
    FilePos(F, i);
    Result := F.RecSize_TextMode;
  End;

Aber hier ist ja anscheinend schon sicher, daß es sich um eine UnicodeDatei handelt, bleibt aber noch ungeklärt, ob BigEndian, oder LowerEndian kodiert und ob überhaupt ein Markerbyte vorhanden ist...

[bioser]

Hallo, danke für die Antworten. Ich habe gerade die JCLUnicode.pas eingebunden.
Dabei gibt es jede Menge undefinierte Bezeichner. :wall:
Sehen wir einmal davon ab, dann lade ich die Textdatei in die StringListe,
WidestringList.LoadfromFile(...), und wie kann ich dann damit weiter
arbeiten ?

[himitsu]

Na "genauso" wie bei 'ner normalen TStringList? (dazu findest du dann sogar noch was in der OH)

[Robert Marquardt]

Zitat:

Zitat von bioser

Hallo, danke für die Antworten. Ich habe gerade die JCLUnicode.pas eingebunden.
Dabei gibt es jede Menge undefinierte Bezeichner. :wall:

Hast du die JCL auch installiert? Dabei werden naemlich die Suchpfade von Delphi ergaenzt.

[bioser]

Hallo, danke, ja, es klappt soweit. Hat jemand eine Sammlung von
Datenbankoperationen für Textdateien (wie z.B. AddField, GoNext etc.),
basierend auf Widestrings ? Meine sind nur für strings geeignet.