Escape sequenzen ersetzen

[manuel.taber]

Hallo,

kurze Schilderung meines Problems:

Ich erhalte von einem Windows - Dienst (in Python geschrieben) über UDP eine Zeichenkette, die ich in Delphi weiter verarbeiten möchte. Um übertragungsprobleme zu vermeiden, wurden in der Zeichenkette die Sonderzeichen durch \x + Hex Wert ersetzt.

So ergibt z.B. 'äöü' die Zeichenkette '\xe4\xf6\xfc'.

Gibt es eine Möglichkeit, die originale Zeichenkette wiederherstellen?

Danke im voraus
Manuel

[BUG]

Ja, das sollte nicht so schwer sein.
Wie wird denn das Backslash selbst escapted?

[manuel.taber]

Das Backslash muss glaube ich nicht escaped werden, weil '\x' für das escapen hergenommen wird.
Ich kann mich aber auch irren...

[himitsu]

spontan würde ich \\ für \ vermuten ... halt der normale C-Style




und Zurück:

Zeichencode auslesen und nach '\x'+2xHex umwandeln, außer bei #0 = '\0' oder #10 = '\n' oder '\' = '\\' usw.

[manuel.taber]

Gibt es keinen Parser oder ähnliches, der das für mich erledigt?

[DeddyH]

Vielleicht denke ich zu simpel, aber wieso nicht StringReplace? Das ist vielleicht nicht die schnellste Möglichkeit, aber wenn der Ausgangsstring nicht allzu lang ist, sollte das doch kein Problem sein.

[BUG]

Wie wäre es wenn du den Parser schreiben würdest

Ich würde das mit einem endlichen Zustandsautomaten angehen:

Delphi-Quellcode:

function unescape(const input: AnsiString): AnsiString;
var
  state: (stNormal, stExpectX, stHex1, stHex2);
  curLength, cur: integer;
  escaped: string[3];

  procedure normal; inline;
  begin
    state := stNormal;
    inc(curLength);
    result[curLength] := input[cur];
  end;

begin
  setLength(result, length(input));
  curLength := 0;
  state := stNormal;
  for cur := 1 to length(input) do
  begin
    case state of
      stNormal:
        if input[cur] <> '\'
          then normal
          else state := stExpectX;
      stExpectX:
        if input[cur] = 'x'
          then state := stHex1
          else normal;
      stHex1:
        if input[cur] in ['0'..'9', 'a'..'f', 'A'..'F'] then
        begin
          escaped := '$' + input[cur];
          state := stHex2;
        end else normal;
      stHex2:
        begin
          if input[cur] in ['0'..'9', 'a'..'f', 'A'..'F']
            then escaped := escaped + input[cur]
            else state := stNormal;
          inc(curLength);
          result[curLength] := Chr(StrToInt(escaped));
          if state = stNormal
            then normal
            else state := stNormal;
        end;
    end;
  end;
  setLength(result, curLength);
end;

Nicht getestet, aber das Prinzip sollte klar werden.

[gammatester]

Zuerst müssen doch einmal die genauen Kodierungsregeln bekannt sein. Wie wird denn z.B.diese Original-Zeichenkette kodiert?

Code:

'äöü' wird als '\xe4\xf6\xfc' codiert!

Bei der Rückgewinnung sollte dann doch nicht herauskommen:

Code:

'äöü' wird als 'äöü' codiert!

[BUG]

Zitat von gammatester:

Zuerst müssen doch einmal die genauen Kodierungsregeln bekannt sein.

Deswegen habe ich ja gefragt, wie '\' codiert wird.
Wenn das Prinzip klar ist, kann man aus stExpectX ein stExcpectModifier (oder so) machen und '\n', '\0' und andere ähnlich behandeln.

EDIT:
Ich habe den Code mal getestet und verbessert.
Wer mit Lazarus testet, sollte die Ausgabe besser mit AnsiToUtf8 behandeln.

[Sherlock]

Ich kram das hier mal aus der Versenkung, weil das fast auf mein Gegenwärtiges Problem zutrifft: Datenquelle ist ein Python YAML. Ich erhalte escapete Unicodestrings wie zum Beispiel 'Gl\xF6ckner' an Stelle von 'Glöckner'. YAML ist nix anderes als hübscheres JSON (überspitzt gesagt, ich nutze YAML eigentlich nur, weil es einen Datumstypen kennt, was unter Python ein Segen ist, da kennt JSON nämlich [Standardkonform] keinen). Zurück zu meinem Problem: Was hier geschildert wurde ist ein Eigenbau, den ich von einem "Web" und "IoT" affinen Konstrukt wie Delphi in der Reinkarnation Seattle als eingebaut angesehen hätte. Ich finde aber nicht wirklich etwas hilfreiches. Es gibt Vorschläge TJSONObject.ParseJSONValue zu verwenden. Das scheitert daran, daß mein YAML eben kein JSON ist, denke ich. Zumindest bleibt das JSON Objekt leer, nach dem Parsen des Strings.

Edith fand heraus, daß ParseJSONValue daran scheitert, daß \x nicht vorgesehen ist sondern nur \u...

Sherlock