SynHighlighter erweitern

[Codehunter]

Hallo!

Die Frage richtet sich an die Algorithmus-Experten hier. Bitte schaut euch mal den Source hier an.

In Zeile 206 wird ein Array mit Keywords definiert. Das sind die Schlüsselworte der PHP-Syntax. Wie man sieht, fehlen ein paar und zwar ist der Highlighter auf dem Niveau von PHP4 stehengeblieben. Ich würde den Highlighter gern auf den aktuellen Stand bringen.

Das Problem dabei: Das Array wird nicht einfach per 1:1 Vergleich abgefragt sondern über einen Hash-Algorithmus (Zeile 229) verglichen (Zeile 242) und einer ganzen Tabelle von Identifizierungsroutinen (Zeile 254) zugeordnet. Ergänzt man jetzt das Keyword-Array einfach um weitere Schlüsselworte, kommt der Hash-Algorithmus nicht mehr mit seiner Vergleichstabelle zurecht.

Mir ist der Mechanismus einfach zu undurchsichtig, vielleicht kann mir da mal einer von euch Tips geben.

Grüße
Cody

[Bjoerk]

Die HashKey (außer dem mod 137) ist mir auch nicht klar. Vielleicht schmeißt du einfach die KeyIndices raus und schreibst dir eine IndexOfKeyWords?

[Codehunter]

Also ich hab jetzt auch ein paar Stunden über der Sache gehirnt. Wenn ich das richtig verstehe, bilden Keyword-Liste und Hash-Liste ein Zweiergespann. Dieses existiert nur deswegen, weil manche Operationen bei Unicode schlichtweg nicht funktionieren oder grottenlangsam sind.

Jetzt habe ich mir ein kleines Toolchen gebastelt, wo ich links freihändig eine Liste mit Keywords eingeben kann und rechts fertig formatiert ein Stück Pascalcode mit dem Keyword-Array und dem Hash-Array. Das funktioniert jetzt sogar soweit mit den neuen Keywords von PHP5.

Einziges Problem dabei: Der Hash-Algorithmus liefert keine eindeutigen Hashes. Bei einer Liste von 100 Keywords hat man mit Sicherheit schon eine oder mehrere Dupletten dabei. Und dann kommt die Hashtabelle in Schwulitäten, denn man muss sich entscheiden auf welchen Eintrag in der Keyword-Tabelle man verweisen will.

Also müsste man den Hash-Algo entwas anpassen damit die Hashes eindeutiger würden.

[mkinzler]

Ein Hash sollte eigentlich eindeutig sein (nicht eineindeutig, aber eindeutig)

[Bjoerk]

Geh mal in deinen Link von oben, dann ins ParentDir und lad dir mal das ganze Project runter. Scheint eine völlig neue Version zu sein. Wenn ich den Code richtig verstanden habe, dann wird das dort jetzt ganz anders gelöst (über hardcodierte functions). Da sollten sich doch einfach neue hinzufügen lassen?

[Codehunter]

Also ich kenne den SynEdit schon recht lange und recht gut. Historisch war es so, dass zuerst die ANSI-Version da war und dort waren die Highlighter hartcodiert. Seit der Unicode-Version wurden die ein "bisschen" flexibler. Da gibts jetzt auch einen UniSynHighlighter, der variabel anpassbar ist zur Designtime über Properties. Aber der ist nicht 100% auf die Eigenheiten der einzelnen Sprachen anpassbar, sodass manche Feinheiten unter den Tisch fallen. Darum immernoch die spezialisieren Highlighter.

Ich denke, die brauchten einen ganz simplen Hash-Algo, der kurze INT-Hashes liefert die man als Index in einem Array missbrauchen kann. Der jetzige liefert aber nur eine Streubreite von 0..136, was bei knapp 100 Keywords nicht die Wucht ist.

Wahrscheinlich wäre es das beste, die ganze Sache mal komplett umzustricken. Wird aber wohl erst nächste Woche. Vielleicht hat ja einer von euch am Wochenende etwas Langeweile?

@shmia: Parallel zu Deiner Antwort kam ich fast zum selben Ergebnis. Hier der Source zu meinem Hash-Pascalcode-Generator:

Delphi-Quellcode:

procedure TForm1.Button1Click(Sender: TObject);
type
  KWRec = record
    Keyword: String;
    Hash: Integer;
  end;
  KWList = array of KWRec;

var
  I, J, iNumWords, iMaxHash: Integer;
  S, S2: String;
  C: Char;
  L: KWList;
  Indices: array of Integer;
  SL: TStringList;

begin
  I:= 0;
  iNumWords:= 0;
  iMaxHash:= 0;
  Memo1.Lines.BeginUpdate;
  try
    while I < Memo1.Lines.Count do begin
      S:= Memo1.Lines[I];
      S2:= '';
      for J:= 1 to Length(S) do begin
        C:= S[J];
        if IsIdentChar(C) then S2:= S2 + C;
      end;
      if Trim(S2) = '' then Memo1.Lines.Delete(I) else begin
        Memo1.Lines[I]:= S2;
        Inc(I);
        Inc(iNumWords);
      end;
    end;
    SL:= TStringList.Create;
    try
      SL.Assign(Memo1.Lines);
      SL.Sort;
      Memo1.Lines.Assign(SL);
    finally
      SL.Free;
    end;
    SetLength(L, iNumWords);
    for I:= Low(L) to High(L) do begin
      S:= Memo1.Lines[I];
      L[I].Keyword:= S;
      L[I].Hash:= HashKey(PChar(S));
      iMaxHash:= Max(L[I].Hash, iMaxHash);
    end;
    SetLength(Indices, iMaxHash + 1);
    for I:= Low(Indices) to High(Indices) do begin
      Indices[I]:= -1;
    end;
    Memo2.Lines.BeginUpdate;
    try
    Memo2.Lines.Add('  KeyWords: array[0..' + IntToStr(iNumWords - 1) + '] of UnicodeString = (');
      for I:= Low(L) to High(L) do begin
        Indices[L[I].Hash]:= I;
        S:= '    ''' + L[I].Keyword + '''';
        S:= S + StringOfChar(' ', Max(25 - Length(S), 0));
        S:= S + '{ Index: ' + IntToStr(I);
        S:= S + StringOfChar(' ', Max(35 - Length(S), 0));
        S:= S + ' | Hash: ' + IntToStr(L[I].Hash);
        S:= S + StringOfChar(' ', Max(49 - Length(S), 0));
        S:= S + '}';
        if I < High(L) then S:= S + ',';
        Memo2.Lines.Add(S);
      end;
      Memo2.Lines.Add('  );');
      Memo2.Lines.Add('');
      Memo2.Lines.Add('  KeyIndices: array[0..' + IntToStr(iMaxHash) + '] of Integer = (');
      for I:= Low(Indices) to High(Indices) do begin
        S:= '    ' + IntToStr(Indices[I]);
        S:= S + StringOfChar(' ', Max(8 - Length(S), 0));
        S:= S + ' { Index: ' + IntToStr(I) + ' }';
        if I < High(Indices) then S:= S + ',';
        Memo2.Lines.Add(S);
      end;
      Memo2.Lines.Add('  );');
    finally
      Memo2.Lines.EndUpdate;
    end;
  finally
    Memo1.Lines.EndUpdate;
  end;
end;

Schönes WE
Cody

[shmia]

Also ich denke die Hash-Funktion ist schon ok.
Wenn du die Hash-Tabelle (KeyIndices) neu aufbauen möchtest, musst du so vorgehen:
Schreibe ein eigenes Programm für die Ermittlung der Hashwerte.

1.) Array KeyWords um deine Einträge erweitern
2.) Alle Einträge in KeyIndices auf -1 setzen
var // var nicht const !
KeyIndices: array[0..136] of Integer;
3.) Für jeden String in KeyWords berechnest du den Hashwert
Der Hashwert liegt zwischen 0 und 136
Zusätzlich zum Hashwert braucht man noch den Index
Der Index für 'and' ist z.B. 2.
4.) Prüfe ob KeyIndices[Hashwert] = -1 ist
5a.) Falls ja KeyIndices[Hashwert] := Index
5b.) Falls nein erhöhe den Hashwert wie folgt und prüfe nochmal
Hashwert := (Hashwert + 1) mod 137;

Die Punkte 5a und 5b lassen sich mit einer While-Schleife codieren

Delphi-Quellcode:

While KeyIndices[Hashwert] <> -1 do
  Hashwert := (Hashwert + 1) mod 137;
KeyIndices[Hashwert] := Index;

6.) nachdem alle Keywords gehashed wurden lässt du dir den Inhalt
von KeyIndices[] anzeigen (in ein TMemo schreiben, damit du die Liste mit 137 Zahlen per Copy & Paste holen kannst)
7.) die neuen KeyWords und KeyIndices in SynHighlighterPHP.pas kopieren.


PS: du solltest zuerst versuchen mit den alten Keywords[] die gleichen KeyIndices[] wie im ursprünglichen Sourcecode zu erzeugen.
Falls das funktioniert hat, nimmst du die neuen PHP Keywords auf.