SynHighlighter erweitern

[Codehunter]

Zitat von stOrM:

Also wenn du da was strickst, (am coolsten waere irgendwas automatisiertes was dir am Ende halt den Highlighter komplett rausspucken würde) Dann sag mal bescheid! Schönes WE

Naja, sowas wie einen kompletten Highlighter-Generator wird es nie geben. Zum einen hat jede Sprache ihre eigene Logik was Syntax angeht (bei PHP z.B. die Möglichkeit, Variablen direkt in Strings einzubetten, wenn diese in doppelte Hochkommas (Double-Quote) eingeschlossen sind. Da könnte man theoretisch ein AttributeSet für solche eingebetteten Variablen machen.

Zum zweiten sind Highlighter immer auch ein Stück weit dem persönlichen Geschmack des Entwicklers unterworfen, wie viele Features man einbauen möchte. Am obigen Beispiel könnte man auch sagen, eingebettete Variablen müssen nicht extra formatiert werden.

Was aber richtig ist und wo ich zustimme, alle Arbeiten an der SynEdit-Komponente nützen nichts, wenn die Highlighter die verfügbar sind, nur steinalte Sprachen beherrschen. Da muss man dringend nachlegen. Ich bin nämlich immernoch der Meinung, SynEdit ist leistungsfähiger als Scintilla, zumindest in der Delphi-Welt. Niemand würde einen Texteditor zum Entwickeln einsetzen wenn dieser die betreffende Sprache nicht unterstützt.

Leider wird an der Kernkomponente nur wenig gemacht. Es gab einige vielversprechende Forks (Mystix und Letterpress) doch beide sind inzwischen wieder eingeschlafen.

Für HTML5 müsste es relativ einfach sein. Denn das basiert ja nicht auf XHTML sondern dem älteren Standard HTML4. Und für den gibts ja schon einen Highlighter. Ich denke, da muss man auch nur ein paar Keywords ergänzen und einige wenige semantische Erweiterungen. Ebenso bei CSS3. Wobei man hier ehrlicherweise sagen muss, dass der verfügbare CSS-Highlighter noch nicht mal CSS2 komplett unterstützt

Für einige Sprachen könnte ich gar keinen Highlighter schreiben, denn manche kenne ich gar nicht. Man muss schon ein bisschen in der jeweiligen Sprache zuhause sein, sonst bekommt man keinen gescheiten Highlighter zusammen.

[stOrM]

@CodeHunter
Da geb ich dir wohl Recht, bei dem was du sagst. Ist halt irgendwie sehr Schade das da nichts großartig weiterentwickelt wird, ich mag die Komponente eigentlich recht gerne.

Was den CSS Highlighter z.B. angeht, was ich vermisse sind solche Sachen wie z.B. bei Sublime Text zu finden sind Beispiel:

Code:

body {
  color: #red;
  background: rgba(0, 0, 0, 0.5);
}

Die Farbwerte werden bei Sublime Text z.b. unterschiedlich angezeigt bei dem Highlighter. #red besitzt eine andere Farbe wie auch RGBA Values. Dann wird weiterhin noch unterschieden ob Hex oder HLS werden ebenfalls noch unterschiedlich dargestellt. Prefixes kennt SynEdit Highlighter gar keine. Gut war zu der Zeit wohl auch noch kein Thema...

Naja und noch diverse andere Sachen die heute sagen wir mal Standart sind.
Problem im Moment ist halt das der CSS Highlighter quasi so gut wie alles in einer Farbe darstellt bis auf wenige Ausnahmen. Da macht highlighten wenig Sinn, da kann man direkt ein Memo nehmen und bei der Textfarbe schwarz auf weiß bleiben

Leider hab ich auch keine Ahnung wie man die Highlighter korrekt erweitert, weil das was du schreibst mit den Hashes usw. das klingt nicht gerade nach, wir erweitern mal eben kurz

[Codehunter]

@stOrM: Jetzt muss ich doch mal fragen, welche Version vom SynEdit du benutzt. Immernoch die ANSI oder bist du schon auf Unicode umgestiegen? Denn in der Unicode-Version vom SynHighlighterCSS hat sich in Sachen CSS3 schon einiges getan. Wobei das was du beschreibst, sicher noch über die Fähigkeiten hinaus geht die im Moment implementiert sind. Aber machbar wärs sicher.

[stOrM]

Also laut der Readme soll es die Unicode Version sein, kommt direct aus dem SVN.
joa gut Sublime ist was das Highlighten betrifft den SynEdit Saxhen Lichtjahre vorraus waere aber toll, wenn man zumindest ein paar Sachen nachbauen könnte so das die gehighlighteten Sachen einem mal wirklich ins Auge fallen und nich wie ein Brei aussehen.

Kann gerne mal nen Screenshot machen?

[Codehunter]

Nu ja, abgesehen von der eigentlichen SynEdit-Unit ist SynHighlighterCSS.pas die Datei mit den meisten Commits in dem Projekt.

[stOrM]

Zitat von Codehunter:

Nu ja, abgesehen von der eigentlichen SynEdit-Unit ist SynHighlighterCSS.pas die Datei mit den meisten Commits in dem Projekt.

Mag schon richtig sein, nur leider weit entfernt von wirklich gut

Ich hab mal ein Beispiel drangehangen da sieht man wie ich mir ein Highlihjting vorstelle.

[Codehunter]

Wie gesagt, "richtig gut" ist weit interpretierbar. Man kann immer einen Vergleich zu einem anderen Editor ziehen, der irgendeinen Teil beim Highlighting anders macht. Ist ja auch immer die Frage, passt das überhaupt in das Konzept von SynEdit, konstruktionsmäßig meine ich. Du kannst da mit dem Highlighter nichts realisieren, was die Core-Komponente nicht hergibt.

Zum Screenshot: Da sehe ich aber auch noch semantische Fehler... Zeile 24, das "linear" in der falschen Farbe oder Zeile 28 das "to". Oder habe ich da jetzt am CSS3 was falsch verstanden?

[Bjoerk]

Ich bleib' bei #2, schmeiß die KeyIndices raus.

Delphi-Quellcode:

type
  TIdentFuncTableFunc = type TtkTokenKind;

...


function TSynPHPSyn.HashKey(Str: PWideChar): integer;
var
  I: integer;
  S: AnsiString;
begin
  Result := -1;
  S:= LowerCase(AnsiString(WideCharToString(Str)));
  for I:= 0 to Length(KeyWords) - 1 do
    if AnsiString(KeyWords[I]) = S then
    begin
      Result := I;
      Break;
    end;
  // fStringLen ???
  // fToIdent ???
  // sind keine Variablen der unit ???
end;

function TSynPHPSyn.IdentKind(MayBe: PWideChar): TtkTokenKind;
var
  Key: integer;
begin
  Key := HashKey(MayBe);
  if HashKey(MayBe) > -1 then
    Result := fIdentFuncTable[Key]
  else
    Result := tkIdentifier;
end;

procedure TSynPHPSyn.InitIdent;
var
  I: Integer;
begin
  for I := Low(fIdentFuncTable) to High(fIdentFuncTable) do
    if I > High(KeyWords) then
      ...
    else
      ...
end;

...

[Codehunter]

@Bjoerk: Im Prinzip hast du recht. Ich beiß mich aber gern mal durch solche Probleme durch sonst lernt man ja nix dabei Schade dass man den ursprünglichen Erfinder des Algorithmus Martin Waldenburg nirgends mehr findet (macht anscheinend nix mehr mit Delphi).

FStringLen und FToIdent sind private-Members der Elternklasse. Ich fands schon immer merkwürdig, dass man bei der Delphi-Vererbung auf diese Weise auf Variablen der Elternklassen zugreifen kann. Aber so ist es nun mal.

Die Umwandlung in Ansistring finde ich ein wenig bedenklich. Es würde dadurch die Gefahr von False-Positives steigen denn der Hash-Algo ist ja nach wie vor der selbe. Der Verzicht auf KeyIndices bringt da meiner Meinung nach keine Vorteile.

Ich habe mich schon mit zwei Maintainern von SynEdit in Verbindung gesetzt aber anscheinend wissen sie auch nicht sehr viel über den Algorithmus. Wir vermuten aber alle, dass ein Tool verwendet wurde um die Arrays (KeyWords und KeyIndices) sowie die Konstanten im Hash-Algo zu generieren. Das einzige was mir jetzt noch einfiele, wäre die Konstanten per Bruteforce rauszufinden. Aber das ist ja auch nicht gerade die feine englische Art

[Codehunter]

Ich werd irre... Da ist doch tatsächlich ein Quellcodegenerator bei SynEdit dabei (SynGen). Man muss nur erstmal dahinter steigen, wie die Grammarfiles funktionieren die das Ding importieren will. Und der Witz an der Sache: SynGen erzeugt die Hashtable tatsächlich nach einer Art Bruteforce-Methode. Je mehr Keywords eine Sprache hat umso länger braucht das Programm.

Zwar ist der erzeugte Highlighter nicht unbedingt brauchbar weil eine Sprache ja auch aus einer Semantik besteht und nicht nur aus Keywords, Identifiern und Symbolen. Aber: Es erzeugt die Hashtables und die HashKey-Funktion. Die kann man dann einfach rüberkopieren und sich wieder auf die wesentlichen Dinge konzentrieren.

Insofern: Problem gelöst und Danke an alle die sich beteiligt haben!