SynHighlighter erweitern

[Codehunter]

Hallo!

Die Frage richtet sich an die Algorithmus-Experten hier. Bitte schaut euch mal den Source hier an.

In Zeile 206 wird ein Array mit Keywords definiert. Das sind die Schlüsselworte der PHP-Syntax. Wie man sieht, fehlen ein paar und zwar ist der Highlighter auf dem Niveau von PHP4 stehengeblieben. Ich würde den Highlighter gern auf den aktuellen Stand bringen.

Das Problem dabei: Das Array wird nicht einfach per 1:1 Vergleich abgefragt sondern über einen Hash-Algorithmus (Zeile 229) verglichen (Zeile 242) und einer ganzen Tabelle von Identifizierungsroutinen (Zeile 254) zugeordnet. Ergänzt man jetzt das Keyword-Array einfach um weitere Schlüsselworte, kommt der Hash-Algorithmus nicht mehr mit seiner Vergleichstabelle zurecht.

Mir ist der Mechanismus einfach zu undurchsichtig, vielleicht kann mir da mal einer von euch Tips geben.

Grüße
Cody

[Bjoerk]

Die HashKey (außer dem mod 137) ist mir auch nicht klar. Vielleicht schmeißt du einfach die KeyIndices raus und schreibst dir eine IndexOfKeyWords?

[Codehunter]

Also ich hab jetzt auch ein paar Stunden über der Sache gehirnt. Wenn ich das richtig verstehe, bilden Keyword-Liste und Hash-Liste ein Zweiergespann. Dieses existiert nur deswegen, weil manche Operationen bei Unicode schlichtweg nicht funktionieren oder grottenlangsam sind.

Jetzt habe ich mir ein kleines Toolchen gebastelt, wo ich links freihändig eine Liste mit Keywords eingeben kann und rechts fertig formatiert ein Stück Pascalcode mit dem Keyword-Array und dem Hash-Array. Das funktioniert jetzt sogar soweit mit den neuen Keywords von PHP5.

Einziges Problem dabei: Der Hash-Algorithmus liefert keine eindeutigen Hashes. Bei einer Liste von 100 Keywords hat man mit Sicherheit schon eine oder mehrere Dupletten dabei. Und dann kommt die Hashtabelle in Schwulitäten, denn man muss sich entscheiden auf welchen Eintrag in der Keyword-Tabelle man verweisen will.

Also müsste man den Hash-Algo entwas anpassen damit die Hashes eindeutiger würden.

[mkinzler]

Ein Hash sollte eigentlich eindeutig sein (nicht eineindeutig, aber eindeutig)

[Bjoerk]

Geh mal in deinen Link von oben, dann ins ParentDir und lad dir mal das ganze Project runter. Scheint eine völlig neue Version zu sein. Wenn ich den Code richtig verstanden habe, dann wird das dort jetzt ganz anders gelöst (über hardcodierte functions). Da sollten sich doch einfach neue hinzufügen lassen?

[shmia]

Also ich denke die Hash-Funktion ist schon ok.
Wenn du die Hash-Tabelle (KeyIndices) neu aufbauen möchtest, musst du so vorgehen:
Schreibe ein eigenes Programm für die Ermittlung der Hashwerte.

1.) Array KeyWords um deine Einträge erweitern
2.) Alle Einträge in KeyIndices auf -1 setzen
var // var nicht const !
KeyIndices: array[0..136] of Integer;
3.) Für jeden String in KeyWords berechnest du den Hashwert
Der Hashwert liegt zwischen 0 und 136
Zusätzlich zum Hashwert braucht man noch den Index
Der Index für 'and' ist z.B. 2.
4.) Prüfe ob KeyIndices[Hashwert] = -1 ist
5a.) Falls ja KeyIndices[Hashwert] := Index
5b.) Falls nein erhöhe den Hashwert wie folgt und prüfe nochmal
Hashwert := (Hashwert + 1) mod 137;

Die Punkte 5a und 5b lassen sich mit einer While-Schleife codieren

Delphi-Quellcode:

While KeyIndices[Hashwert] <> -1 do
  Hashwert := (Hashwert + 1) mod 137;
KeyIndices[Hashwert] := Index;

6.) nachdem alle Keywords gehashed wurden lässt du dir den Inhalt
von KeyIndices[] anzeigen (in ein TMemo schreiben, damit du die Liste mit 137 Zahlen per Copy & Paste holen kannst)
7.) die neuen KeyWords und KeyIndices in SynHighlighterPHP.pas kopieren.


PS: du solltest zuerst versuchen mit den alten Keywords[] die gleichen KeyIndices[] wie im ursprünglichen Sourcecode zu erzeugen.
Falls das funktioniert hat, nimmst du die neuen PHP Keywords auf.

[Codehunter]

Also ich kenne den SynEdit schon recht lange und recht gut. Historisch war es so, dass zuerst die ANSI-Version da war und dort waren die Highlighter hartcodiert. Seit der Unicode-Version wurden die ein "bisschen" flexibler. Da gibts jetzt auch einen UniSynHighlighter, der variabel anpassbar ist zur Designtime über Properties. Aber der ist nicht 100% auf die Eigenheiten der einzelnen Sprachen anpassbar, sodass manche Feinheiten unter den Tisch fallen. Darum immernoch die spezialisieren Highlighter.

Ich denke, die brauchten einen ganz simplen Hash-Algo, der kurze INT-Hashes liefert die man als Index in einem Array missbrauchen kann. Der jetzige liefert aber nur eine Streubreite von 0..136, was bei knapp 100 Keywords nicht die Wucht ist.

Wahrscheinlich wäre es das beste, die ganze Sache mal komplett umzustricken. Wird aber wohl erst nächste Woche. Vielleicht hat ja einer von euch am Wochenende etwas Langeweile?

@shmia: Parallel zu Deiner Antwort kam ich fast zum selben Ergebnis. Hier der Source zu meinem Hash-Pascalcode-Generator:

Delphi-Quellcode:

procedure TForm1.Button1Click(Sender: TObject);
type
  KWRec = record
    Keyword: String;
    Hash: Integer;
  end;
  KWList = array of KWRec;

var
  I, J, iNumWords, iMaxHash: Integer;
  S, S2: String;
  C: Char;
  L: KWList;
  Indices: array of Integer;
  SL: TStringList;

begin
  I:= 0;
  iNumWords:= 0;
  iMaxHash:= 0;
  Memo1.Lines.BeginUpdate;
  try
    while I < Memo1.Lines.Count do begin
      S:= Memo1.Lines[I];
      S2:= '';
      for J:= 1 to Length(S) do begin
        C:= S[J];
        if IsIdentChar(C) then S2:= S2 + C;
      end;
      if Trim(S2) = '' then Memo1.Lines.Delete(I) else begin
        Memo1.Lines[I]:= S2;
        Inc(I);
        Inc(iNumWords);
      end;
    end;
    SL:= TStringList.Create;
    try
      SL.Assign(Memo1.Lines);
      SL.Sort;
      Memo1.Lines.Assign(SL);
    finally
      SL.Free;
    end;
    SetLength(L, iNumWords);
    for I:= Low(L) to High(L) do begin
      S:= Memo1.Lines[I];
      L[I].Keyword:= S;
      L[I].Hash:= HashKey(PChar(S));
      iMaxHash:= Max(L[I].Hash, iMaxHash);
    end;
    SetLength(Indices, iMaxHash + 1);
    for I:= Low(Indices) to High(Indices) do begin
      Indices[I]:= -1;
    end;
    Memo2.Lines.BeginUpdate;
    try
    Memo2.Lines.Add('  KeyWords: array[0..' + IntToStr(iNumWords - 1) + '] of UnicodeString = (');
      for I:= Low(L) to High(L) do begin
        Indices[L[I].Hash]:= I;
        S:= '    ''' + L[I].Keyword + '''';
        S:= S + StringOfChar(' ', Max(25 - Length(S), 0));
        S:= S + '{ Index: ' + IntToStr(I);
        S:= S + StringOfChar(' ', Max(35 - Length(S), 0));
        S:= S + ' | Hash: ' + IntToStr(L[I].Hash);
        S:= S + StringOfChar(' ', Max(49 - Length(S), 0));
        S:= S + '}';
        if I < High(L) then S:= S + ',';
        Memo2.Lines.Add(S);
      end;
      Memo2.Lines.Add('  );');
      Memo2.Lines.Add('');
      Memo2.Lines.Add('  KeyIndices: array[0..' + IntToStr(iMaxHash) + '] of Integer = (');
      for I:= Low(Indices) to High(Indices) do begin
        S:= '    ' + IntToStr(Indices[I]);
        S:= S + StringOfChar(' ', Max(8 - Length(S), 0));
        S:= S + ' { Index: ' + IntToStr(I) + ' }';
        if I < High(Indices) then S:= S + ',';
        Memo2.Lines.Add(S);
      end;
      Memo2.Lines.Add('  );');
    finally
      Memo2.Lines.EndUpdate;
    end;
  finally
    Memo1.Lines.EndUpdate;
  end;
end;

Schönes WE
Cody

[stOrM]

Ich habs grad gelesen eigentlich auch nur weil ich selber gerade etwas am Grübeln bin darüber, wie man dem Ding CSS3 sowie HTML5 beibringen könnte

Also wenn du da was strickst, (am coolsten waere irgendwas automatisiertes was dir am Ende halt den Highlighter komplett rausspucken würde) Dann sag mal bescheid!

Schönes WE

[Codehunter]

Zitat von stOrM:

Also wenn du da was strickst, (am coolsten waere irgendwas automatisiertes was dir am Ende halt den Highlighter komplett rausspucken würde) Dann sag mal bescheid! Schönes WE

Naja, sowas wie einen kompletten Highlighter-Generator wird es nie geben. Zum einen hat jede Sprache ihre eigene Logik was Syntax angeht (bei PHP z.B. die Möglichkeit, Variablen direkt in Strings einzubetten, wenn diese in doppelte Hochkommas (Double-Quote) eingeschlossen sind. Da könnte man theoretisch ein AttributeSet für solche eingebetteten Variablen machen.

Zum zweiten sind Highlighter immer auch ein Stück weit dem persönlichen Geschmack des Entwicklers unterworfen, wie viele Features man einbauen möchte. Am obigen Beispiel könnte man auch sagen, eingebettete Variablen müssen nicht extra formatiert werden.

Was aber richtig ist und wo ich zustimme, alle Arbeiten an der SynEdit-Komponente nützen nichts, wenn die Highlighter die verfügbar sind, nur steinalte Sprachen beherrschen. Da muss man dringend nachlegen. Ich bin nämlich immernoch der Meinung, SynEdit ist leistungsfähiger als Scintilla, zumindest in der Delphi-Welt. Niemand würde einen Texteditor zum Entwickeln einsetzen wenn dieser die betreffende Sprache nicht unterstützt.

Leider wird an der Kernkomponente nur wenig gemacht. Es gab einige vielversprechende Forks (Mystix und Letterpress) doch beide sind inzwischen wieder eingeschlafen.

Für HTML5 müsste es relativ einfach sein. Denn das basiert ja nicht auf XHTML sondern dem älteren Standard HTML4. Und für den gibts ja schon einen Highlighter. Ich denke, da muss man auch nur ein paar Keywords ergänzen und einige wenige semantische Erweiterungen. Ebenso bei CSS3. Wobei man hier ehrlicherweise sagen muss, dass der verfügbare CSS-Highlighter noch nicht mal CSS2 komplett unterstützt

Für einige Sprachen könnte ich gar keinen Highlighter schreiben, denn manche kenne ich gar nicht. Man muss schon ein bisschen in der jeweiligen Sprache zuhause sein, sonst bekommt man keinen gescheiten Highlighter zusammen.

[stOrM]

@CodeHunter
Da geb ich dir wohl Recht, bei dem was du sagst. Ist halt irgendwie sehr Schade das da nichts großartig weiterentwickelt wird, ich mag die Komponente eigentlich recht gerne.

Was den CSS Highlighter z.B. angeht, was ich vermisse sind solche Sachen wie z.B. bei Sublime Text zu finden sind Beispiel:

Code:

body {
  color: #red;
  background: rgba(0, 0, 0, 0.5);
}

Die Farbwerte werden bei Sublime Text z.b. unterschiedlich angezeigt bei dem Highlighter. #red besitzt eine andere Farbe wie auch RGBA Values. Dann wird weiterhin noch unterschieden ob Hex oder HLS werden ebenfalls noch unterschiedlich dargestellt. Prefixes kennt SynEdit Highlighter gar keine. Gut war zu der Zeit wohl auch noch kein Thema...

Naja und noch diverse andere Sachen die heute sagen wir mal Standart sind.
Problem im Moment ist halt das der CSS Highlighter quasi so gut wie alles in einer Farbe darstellt bis auf wenige Ausnahmen. Da macht highlighten wenig Sinn, da kann man direkt ein Memo nehmen und bei der Textfarbe schwarz auf weiß bleiben

Leider hab ich auch keine Ahnung wie man die Highlighter korrekt erweitert, weil das was du schreibst mit den Hashes usw. das klingt nicht gerade nach, wir erweitern mal eben kurz