In HTML-Dateien Umlaute / Sonderzeichen ersetzen

[ringli]

Wie kann ich in vorhandenen HTML-Dateien automatisch Umlaute bzw. Sonderzeichen durch den dazugehörigen Code (z.B. aus ä wird ä oder aus einem Leerzeichen wird usw.) ersetzen lassen? Klar könnte ich jede Datei einzeln öffnen und über "Suchen und Ersetzen" die einzelnen Umlaute ersetzen, aber ich würde das lieber so machen das ich die Dateien markiere und per Drag & Drop in ein Programmfenster ziehe und dort automatisch nacheinander abarbeiten lasse.

Ein Ansatz wäre das über StringReplace zu lösen, was aber nicht so gut sein dürfte da dann unter Umständen auch Links oder ähnliches ersetzt werden die eigentlich nicht ersetzt werden dürfen.

Ein zweiter Ansatz sind vermutlich RegEx-Ausdrücke von denen ich leider null Ahnung habe.

Der dritte Ansatz wäre das über einen HTML-Parser zu machen, jedoch habe ich bisher keinen guten kostenlosen oder zumindest günstigen HTML-Parser gefunden. Vielleicht kennt ja einer von euch einen guten?

Ansonsten wäre ich über Tips dankbar wie man das Problem sonst noch angehen könnte. :)

[aladin60]

Dateien nacheinander jeweils in eine TStringList mit LoadFromFile einlesen, zeilenweise durchlaufen zum ersetzen z.B. mit replace, dann Stringliste wieder mit SaveToFile speichern...

Bernd.

[ringli]

Zitat:

Zitat von aladin60

Dateien nacheinander jeweils in eine TStringList mit LoadFromFile einlesen, zeilenweise durchlaufen zum ersetzen z.B. mit replace, dann Stringliste wieder mit SaveToFile speichern...

Bernd.

Hmm... aber auch da besteht doch dann wieder die Gefahr das Elemente ersetzt werden die nicht ersetzt werden dürfen oder irre ich mich da? Das ist ja im Grunde das was ich mit meinem ersten Ansatz meinte.

[nahpets]

Hallo,

auf die Schnelle:

Lese Dir die Eingabedateien in einen Eingabe-String ein.
Mache Dir einen Ausgabe-String für die Ausgabedateien.
Gehe den String von 1 bis length(String) durch und frage mit Case Eingabe-String[i] of die einzelnen Zeichen ab.
Stößt Du auf ein zu ersetzendes Zeichen so schreibe in den Ausgabe-String die Ersetzung (ä -> ä u.s.w.) andernfalls schreibe das unveränderte Zeichen in den Ausgabe-String.
Hier könntest Du Stringlisten und deren Attribut Text verwenden oder das Ganze über zwei Filestreams realisieren (was sicherlich eleganter und schneller ist).

[ringli]

Dann bleibt nach wie vor das Problem das ich z.B. Links auch übersetze. Bei denen wäre es schlecht wenn z.B. aus

Code:

www.müller.de

auf einmal ein

Code:

www.m&uumll;er.de

wird. Ich werde also vermutlich nicht drumherum kommen mich mit irgendeinem HTML-Parser anfreunden zu müssen.

[nahpets]

Hallo,

wenn Du meinem Vorschlag folgst und ihn ein bisserl erweiterst, könntest Du hergehen und immer, wenn Du auf ein < triffst, solange keine "Übersetzung" vornehmen, bis Du auf ein > triffst. Damit sparst Du Dir dann alles in den HTML-Tags aus. Das dürfte eigentlich kein großes Problem sein, da reicht ein boolscher Schalter.

[Xong]

Hilfe hast du ja nun schon bekommen. Aber ich möchte das Thema von einer anderen Seite beleuchten.

Warum möchtest du die Umlaute ersetzen?
Es ist extrem unvorteilhaft das zu tun. Normalerweise sollten die HTML-Dateien in einer ISO-8859-1 vorliegen. Diese Kodierung enthält auch deutsche Umlaute. Wieso also möchtest du die Sonderzeichen in entsprechende HTML-Entities übersetzen?

Außerdem kann ich nur empfehlen, HTML-Seiten und -Dateien bei einer Neuerstellung mit UTF-8 zu kodieren. Und selbst bei fertigen Projekten könnte sich eine Umstellung auf UTF-8 durchaus lohnen, da nur so XHTML-1.0-kompatible Seiten erstellt werden können.

Wenn du Interesse an weiteren Ausführungen hast, dann kannst du dich gerne melden. =)

LG,
Xong

PS: In diesem Zusammenhang könnte dich der folgende Thread interessieren: Websiteumstellung auf UTF-8, wie geht's?

[ringli]

@nahpets:
Danke, deine Idee ist ja genial. :) Habe das testweise mal so gelöst:

Delphi-Quellcode:

var
  I             : Integer;
  INPUT_FILE    : TStringList;
  OUTPUT_FILE   : TStringList;
  LengthOfFile  : Int64;
  OneCharOfFile : Byte;
  HtmlTag       : Boolean;
begin
  HtmlTag := False;

  INPUT_FILE := TStringList.Create;
  INPUT_FILE.LoadFromFile('D:\Test\index.html');

  OUTPUT_FILE := TStringList.Create;
  OUTPUT_FILE.LineBreak := '';

  LengthOfFile := Length(INPUT_FILE.Text);

  for i := 0 to LengthOfFile - 1 do
    begin
      OneCharOfFile := Ord(INPUT_FILE.Text[i + 1]);

      case OneCharOfFile of
        // <
        60 : HtmlTag := True;
        // >
        62 : HtmlTag := False;
      end;

      if not HtmlTag then
        begin
          case OneCharOfFile of
            // ä
            228 : OUTPUT_FILE.Append('&auml;');
            // Ä
            196 : OUTPUT_FILE.Append('&Auml;');
            // ö
            246 : OUTPUT_FILE.Append('&ouml;');
            // Ö
            214 : OUTPUT_FILE.Append('&Ouml;');
            // ü
            252 : OUTPUT_FILE.Append('&uuml;');
            // Ü
            220 : OUTPUT_FILE.Append('&Uuml;');
          else
            OUTPUT_FILE.Append(INPUT_FILE.Text[i + 1]);
          end;
        end
      else
        begin
          OUTPUT_FILE.Append(INPUT_FILE.Text[i + 1]);
        end;
    end;

  OUTPUT_FILE.SaveToFile('D:\Test\index_neu.html');

  FreeAndNil(INPUT_FILE);
  FreeAndNil(OUTPUT_FILE);
end;

Vielleicht hat ja jemand noch Ideen wie man das Ganze optimieren kann.

@Xong:
Ich selber brauche das nicht da ich mit Webseitenerstellung nichts mache. Ein Bekannter hatte mich gefragt ob ich ihm so was programmieren könnte. Für mich ist das also eher eine Machbarkeitsstudie. Aber danke für dein Angebot. Vielleicht komme ich ja doch mal darauf zurück.

[nahpets]

Hallo,

versuch's mal mit Filestreams, dürfte (vor allem bei größeren Dateien) schneller sein und die Änderungen sind marginal.
Für das zu "bearbeitende" Zeichen nimmst Du Byte, das geht auch mit Char, dann sparst Du die "Konvertierung".

Delphi-Quellcode:

Var
  OneCharOfFile : Char;

begin
... 
  case OneCharOfFile of 
    // < 
    #60 : HtmlTag := True; 
    // > 
    #62 : HtmlTag := False; 
  end; 
...
end;

Der weitere Teil könnte dann in der Form sein:

Delphi-Quellcode:

case OneCharOfFile of 
  'ä'  : OUTPUT_FILE.Append('ä'); 
  // #228 : OUTPUT_FILE.Append('ä'); 
  'Ä'  : OUTPUT_FILE.Append('Ä'); 
  // #196 : OUTPUT_FILE.Append('Ä'); 
...

[ringli]

So, jetzt das Ganze mal mit FileStreams:

Delphi-Quellcode:

procedure AppendString(FS : TFileStream; StrReplace : String);
var
  I : Integer;
begin
  for I := 0 to Length(StrReplace) - 1 do
    begin
      FS.Write(StrReplace[i + 1], 1);
    end;
end;

procedure TfrmMain.btnConvertClick(Sender: TObject);
var
  I             : Integer;
  OneCharOfFile : Char;
  INPUT_FILE    : TFileStream;
  OUTPUT_FILE   : TFileStream;
  HtmlTag       : Boolean;
begin
  HtmlTag := False;

  INPUT_FILE  := TFileStream.Create('D:\Test\index.html', fmOpenRead);
  OUTPUT_FILE := TFileStream.Create('D:\Test\index_neu.html', fmCreate);

  for I := 0 to INPUT_FILE.Size - 1 do
    begin
      INPUT_FILE.Position := I;
      INPUT_FILE.Read(OneCharOfFile, 1);

      case OneCharOfFile of
        // <
        '<' : HtmlTag := True;
        // >
        '>' : HtmlTag := False;
      end;

      if not HtmlTag then
        begin
          case OneCharOfFile of
            // ä
            'ä' : AppendString(OUTPUT_FILE, '&auml;');
            // Ä
            'Ä' : AppendString(OUTPUT_FILE, '&Auml;');
            // ö
            'ö' : AppendString(OUTPUT_FILE, '&ouml;');
            // Ö
            'Ö' : AppendString(OUTPUT_FILE, '&Ouml;');
            // ü
            'ü' : AppendString(OUTPUT_FILE, '&uuml;');
            // Ü
            'Ü' : AppendString(OUTPUT_FILE, '&Uuml;');
          else
            AppendString(OUTPUT_FILE, OneCharOfFile);
          end;
        end
      else
        begin
          AppendString(OUTPUT_FILE, OneCharOfFile);
        end;
    end;

  FreeAndNil(INPUT_FILE);
  FreeAndNil(OUTPUT_FILE);
end;

Gibt es da jetzt noch Möglichkeiten den Code zu optimieren?

[Xong]

Zitat:

Zitat von ringli

Ich selber brauche das nicht da ich mit Webseitenerstellung nichts mache. Ein Bekannter hatte mich gefragt ob ich ihm so was programmieren könnte. Für mich ist das also eher eine Machbarkeitsstudie. Aber danke für dein Angebot. Vielleicht komme ich ja doch mal darauf zurück.

Sag deinem Bekannten trotzdem mal, dass das Umschreiben von Umlauten in die entsprechenden Entities (also ä -> &auml;) einfach nur kontraproduktiv ist.

Außerdem gibt es noch ein paar Probleme:

1. Wenn du nur Zeichen außerhalb von HTML-Tags (<...>) übersetzt, fehlen einige Ersetzungen, die z. B. in title- oder alt-Attributen stattfinden müssten. Außerdem müssen auch Sonderzeichen in Links ersetzt werden. (So wie es z. B. bei Wikipedia passiert.) Die entsprechende Beschreibung dazu findet man unter RFC 1738.
2. Ein normales Leerzeichen mit einem , also einem non-breaking-space zu ersetzen ist falsch. Das wäre dann nämlich ein geschütztes Leerzeichen.
3. Selbst wenn du die Umlaute ersetzt, was wäre denn mit ß, € oder auch ©?
   Was ich damit sagen will ist, dass du niemals eine vollständige Liste haben kannst.

Nur als Anmerkung, falls jemand mal ein ähnliches Problem haben sollte.

LG,
Xong

[nahpets]

Hallo,

eine kleine Anmerkung hätt' ich noch:
anstelle von

Delphi-Quellcode:

'ä' : AppendString(OUTPUT_FILE, 'ä');

sollte auch

Delphi-Quellcode:

'ä' : OUTPUT_FILE.Write('ä',5);

funktionieren. Spart Laufzeit für die For-Schleife :wink:

Die Anmerkungen von Xong sind nicht ganz von der Hand zu weisen (Der IE kann im Title-Tag nicht in allen Versionen mit "übersetzten" Umlauten umgehen, so dass das Ausklammern von HTML-Tags nicht immer falsch ist.) Wenn in einem Link, also zwischen <a href=" und "> ein Umlaut vorkommt, so ist dieser selbstverständlich nicht zu ersetzen, da er ja Teil der URL ist. Also ist auch hier das Tag von der Umwandlung auszunehmen. Hier das & durch &amp; zu ersetzen wäre dann einfach nur noch falsch.

Habe selbst eine derartige Umwandlungsroutine geschrieben, um ausschließlich an den Text von HTML-Seiten zu kommen, alle Tags mussten entfernt werden und der Rest für die suchkonforme Speicherung in Datenbanken aufbereitet werden. Ganz unsinnig ist eine derartige Umwandlung also nicht. Es kommt darauf an, was man mit dem Ergebnis machen will.

[Xong]

Zitat:

Zitat von nahpets

Wenn in einem Link, also zwischen <a href=" und "> ein Umlaut vorkommt, so ist dieser selbstverständlich nicht zu ersetzen, da er ja Teil der URL ist. Also ist auch hier das Tag von der Umwandlung auszunehmen.

Natürlich müssen die Umlaute ersetzt werden. Das geht aber auch aus der verlinkten RFC hervor.
Beispiel aus der Wikipedia:
Der Link http://de.wikipedia.org/wiki/Ä muss im Quellcode als http://de.wikipedia.org/wiki/%C3%84 kodiert werden.
Auf der Seite http://de.wikipedia.org/wiki/Deutsches_Alphabet kann man das beim verlinkten Ä auch beobachten. (z. B. im Firefox oder IE7: Rechtsklick auf das Ä -> Eigenschaften)

Näheres findet man auch unter URL Encoding

Zitat:

Zitat von nahpets

Hier das & durch &amp; zu ersetzen wäre dann einfach nur noch falsch.

Auch das stimmt nicht. Mit dem Ampersand & werden in HTML-Dokumenten Entities eingeleitet. Mit einem Semikolon ; werden sie abgeschlossen. Werden in einer URL &-Zeichen verwendet, so müssen sie als &amp; kodiert werden, da der Parser ansonsten eine beginnende Entität vermutet. Das würde dann zu einem invaliden HTML-Dokument führen.

Heutzutage noch mit invalidem HTML zu arbeiten, wäre aber gar nicht gut, da die Browser dann mit hoher Wahrscheinlichkeit im Quirksmode arbeiten und Darstellung und Layout vom Zufall geleitet werden, oder aber zumindest in unterschiedlichen Browsern komplett unterschiedlich interpretiert werden.

LG,
Xong

[nahpets]

Hallo,

was passiert denn mit dieser URL http://www.google.de/search?hl=de&q=wikipedia&meta=, wenn ich das & durch &amp; ersetze?
falsch?
richtig?
oder doch andersherum?

[Xong]

Zitat:

Zitat von nahpets

was passiert denn mit dieser URL http://www.google.de/search?hl=de&q=wikipedia&meta=, wenn ich das & durch &amp; ersetze?

Du darfst das & ja nur im HTML-Quellcode ersetzen. Der Browser macht aus dem &amp; wieder &. Wenn du aber eben nur & im Code stehen hast, dann bekommst du invaliden Code.

Aus http://www.google.de/search?hl=de&amp;q=...edia&amp;meta= macht der Browser also http://www.google.de/search?hl=de&q=wikipedia&meta.

Du kannst dir ja auch mal den Quellcode deines Postings anschauen.
Das DP-Forum macht aus deinem
http://www.google.de/search?hl=de&q=wikipedia&meta -> http://www.google.de/search?hl=de&amp;q=wikipedia&amp;meta=
und aus dem
http://www.google.de/search?hl=de&amp;q=wikipedia&amp;meta= -> http://www.google.de/search?hl=de&amp;amp;q=wikipedia&amp;amp;meta=

Ich hoffe, ich konnte mich jetzt etwas deutlicher ausdrücken.
Ich weiß, das klingt alles etwas abgehoben und gar nicht wichtig. Tatsächlich gehört es aber zu gutem Webdesign dazu.

LG,
Xong

[nahpets]

Hallo,

sorry, aber Deine Ansichten sind nicht zu 100% korrekt.

Im Forum wird nur in dem Bereich zwischen und das & durch ein &amp; ersetzt, aber nicht innerhalb des <a href="http://www.google.de/search?hl=de&amp;q=wikipedia&amp;meta=">Das wird als Linktext angezeigt[/code]ist fehlerhaft. So wäre es richtig:

Code:

[url="http://www.google.de/search?hl=de&q=wikipedia&meta="]Das wird als Linktext angezeigt[/url]

Ebenso wäre das richtig:

Code:

[url="http://www.google.de/search?hl=de&q=wikipedia&meta="]Das wird als Linktext mit &Ampersand angezeigt[/url]

oder aber auch

Code:

[url="http://www.google.de/search?hl=de&q=wikipedia&meta="]http://www.google.de/search?hl=de&q=wikipedia&meta=[/url]

[Xong]

[quote=nahpets]Im Forum wird nur in dem Bereich zwischen und das & durch ein &amp; ersetzt, aber nicht innerhalb des <a href="http://www.google.de/search?hl=de&amp;q=wikipedia&amp;meta=" target="_blank" class="postlink" >[img]./images/common/inlink.gif[/img]falsch?[/code]
So wird also der BB-Code

Code:

[url=http://www.google.de/search?hl=de&q=wikipedia&meta=]falsch?[/url]

aus deinem Posting dargestellt.

Zitat:

Zitat von nahpets

Das & ist das Trennzeichen zwischen den einzelnen mit = verbundenen Parameterpaaren der URL.

Auch das stimmt nur begrenzt. Man kann beliebige Trennzeichen einführen. Empfohlen wird als Trennzeichen übrigens ein Semikolon, nicht das Ampersand. Dazu gibt es nicht nur einen Thread im Selfhtml-Forum: http://forum.de.selfhtml.org/archiv/...07828/#m670540.

Zitat:

Zitat von nahpets

Zitat:

Aus http://www.google.de/search?hl=de&amp;q=...edia&amp;meta= macht der Browser also http://www.google.de/search?hl=de&q=wikipedia&meta.

Diese Aussage ist so nicht richtig. Eine URL in der Form

Code:

[url="http://www.google.de/search?hl=de&q=wikipedia&meta="]Das wird als Linktext angezeigt[/url]

ist fehlerhaft.

Nein. Wenn der Separator ein & ist, dann ist das die einzig richtige Schreibweise.

Zitat:

Zitat von nahpets

So wäre es richtig:

Code:

[url="http://www.google.de/search?hl=de&q=wikipedia&meta="]Das wird als Linktext angezeigt[/url]

Ebenso wäre das richtig:

Code:

[url="http://www.google.de/search?hl=de&q=wikipedia&meta="]Das wird als Linktext mit &Ampersand angezeigt[/url]

oder aber auch

Code:

[url="http://www.google.de/search?hl=de&q=wikipedia&meta="]http://www.google.de/search?hl=de&q=wikipedia&meta=[/url]

Dann überprüfe mal folgenden Quellcode mit dem Validator (Ich habe deine drei Links einfach in ein ansonsten valides XHTML-Dokument eingesetzt.):

Code:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="de" lang="de">
<head>
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
  <title>Test</title>
</head>
<body>
<h1>Testdokument</h1>
<ul>[*][url="http://www.google.de/search?hl=de&q=wikipedia&meta="]Das wird als Linktext angezeigt[/url][*][url="http://www.google.de/search?hl=de&q=wikipedia&meta="]Das wird als Linktext mit &amp;Ampersand angezeigt[/url]
[*][url="http://www.google.de/search?hl=de&q=wikipedia&meta="]http://www.google.de/search?hl=de&amp;q=wikipedia&amp;meta=[/url][/list]</body>
</html>

Er wird Fehlermeldungen ausgeben.

Der folgende Quellcode mit maskierten Ampersands ist jedoch valide und die Links funktionieren ebenfalls:

Code:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="de" lang="de">
<head>
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
  <title>Test</title>
</head>
<body>
<h1>Testdokument</h1>
<ul>[*][url="http://www.google.de/search?hl=de&amp;q=wikipedia&amp;meta="]Das wird als Linktext angezeigt[/url][*][url="http://www.google.de/search?hl=de&amp;q=wikipedia&amp;meta="]Das wird als Linktext mit &amp;Ampersand angezeigt[/url]
[*][url="http://www.google.de/search?hl=de&amp;q=wikipedia&amp;meta="]http://www.google.de/search?hl=de&amp;q=wikipedia&amp;meta=[/url][/list]</body>
</html>

Jetzt deutlicher? :stupid:

LG,
Xong

[nahpets]

Hallo,

ich gebe mich geschlagen:
Offensichtlich hast Du in Anbetracht Deiner Interpretation der Definitionen recht, nur ich habe das Problem, auf älteren Systemen Fehler zu erhalten. Da ist wohl was von Betriebssystem und Browserversion abhängig. Sprich: Je älter, desto weniger standardkonform.

[Xong]

Zitat:

Zitat von nahpets

ich gebe mich geschlagen:
Offensichtlich hast Du in Anbetracht Deiner Interpretation der Definitionen recht, nur ich habe das Problem, auf älteren Systemen Fehler zu erhalten. Da ist wohl was von Betriebssystem und Browserversion abhängig. Sprich: Je älter, desto weniger standardkonform.

Also in puncto Alter geht die Waschmaschine eindeutig an dich. :lol:

Mich würde aber wirklich interessieren, auf welchem System und mit welchem Browser da Fehler entstehen. Ich habe gerade auf einem IE 3.0, 4.01 und 5.0 getestet. Die führen die Links aber alle drei korrekt aus.
Zugegeben, das ist kein aussagekräftiger Test, da ich das nur unter Windows XP mit einer Multiple-IE-Installation nachvollziehen kann. Möglicherweise wird ein "Original-System" anders reagieren.

Interessant wäre aber zumindest der HTML-Quellcode mit dem die Fehler auftreten.

LG,
Xong

PS: Mir macht das übrigens viel Spaß. Ich habe unsere Auseinandersetzung sehr genossen. Ich hoffe, meine Meinung kam nicht allzu arrogant herüber. Wenn man im Webbereich tätig ist, muss man sich meist viel anhören über schlechtes Markup und Pipapo...

[nahpets]

Hallo,

mein alter Hobel zu Hause mit NT 4 von anno März 2000 und IE 6 irgendwas zeigt im Titel bei

Code:

<title>was mit &amp; an</title>

es genauso an, wie es zwischen den Tags steht, da wird nicht aus &amp; das &. Bei Url's mit &amp; im Href-Teil laufen die Links mit &amp; ins Nirwana oder wo der Webserver sie sonst hininterpretiert, da er halt &amp; anstatt & erhält. Das geht da mit &amp; nicht.
Ist aber eigentlich auch nicht wirklich von Bedeutung.