Lexikalischer Scanner

[Alaitoc]

Hallo zusammen,

ich will nen Parser selbst programmieren, jedoch habe ich bisher kein Codebeispiel für einen
Lexer gefunden. Ich kann mir zwar vorstellen wie er in etwa funktioniert, jedoch wäre ein
Codebeispiel überaus praktisch um einen Anfang zu haben.
Vll. hat da ja wer was? :wink:

MfG Alaitoc

[guidok]

Hallo,

ich habe mich mal daran versucht:

http://www.delphipraxis.net/internal...ighlight=lexer

Vielleicht hilft es dir ja.

Ansonsten ist hier einiges, auch leichtverständliches, dazu zu finden:

http://www.u-helmich.de/

Daran habe ich mich einigermaßen angelehnt, was den Lexer betrifft. Mit den weiteren Schritten, wie Parser usw. habe ich mich nicht mehr näher beschäftigt, weil ich nicht mehr so viel Freizeit hatte.

[Gandalfus]

http://flex.sourceforge.net/ leider in c
oder JLex das gleiche in Java (vermutlich leichter zu verstehen)

[Alaitoc]

Schonmal Danke für die schnelle Antwort,
werde mal schauen ob ichs damit hinkrieg. :)

MfG Alaitoc

[Alaitoc]

So hab den Scanner grundlegend hinbekommen, jedoch wie genau soll ich das scannen?

2x+3+3-4+2ab

bedeutet ja eigentlich:

2*x+3+3-4+2*a*b

Wie sage ich dem Scanner am Besten wie ich die * hinzufügen soll?

[Khabarakh]

Ich denke nicht, dass das den Scanner etwas angeht ;) . Den würde ich

Code:

... PLUS NUM(2) VAR("a") VAR("b")

zurückliefern lassen, um die versteckte Multiplikation soll sich der Parser kümmern. (Hab mal angenommen, dass Variablennamen nur aus einem Zeichen bestehen dürfen).

[guidok]

Zitat:

Zitat von Alaitoc

So hab den Scanner grundlegend hinbekommen, jedoch wie genau soll ich das scannen?

2x+3+3-4+2ab

bedeutet ja eigentlich:

2*x+3+3-4+2*a*b

Wie sage ich dem Scanner am Besten wie ich die * hinzufügen soll?

Kommt drauf an, was das werden soll. Bei einer Programmier- oder Scriptsprache würde ich die vollständige Schreibweise (mit *) zwingend erwarten. Alles andere ist ein fehlerhafter Ausdruck. Für eine mathematischen Parser, hmm, vielleicht nicht.

[HERMES]

Hier gibt es eine Delphiübersetzung von Lex/Yack

http://delphiwiki.de/wiki/index.php?title=SRLexYacc

Bei Ausdrücken wie 2ab hast du das Problem, dass er nicht eindeutig ist, es sein denn du lässt nur einstellige Variblennamen zu. In dem Beispiel könntest du die Variablen a, b, ab haben und falls Variablen auch mit Zahlen beginnen dürften auch noch 2ab.

Wenn du das an Parser deligieren willst, musst du aber wissen, dass es sich um mehrere Tokens handelt und das geht in dem fall nur mit einstelligen Tokens und somit auch nur mit einstelligen Bezeichnern. Damit ist auch eine Verwendung von "++" beispielsweise ausgeschlossen.

[Khabarakh]

Zitat:

Zitat von HERMES

Wenn du das an Parser deligieren willst, musst du aber wissen, dass es sich um mehrere Tokens handelt und das geht in dem fall nur mit einstelligen Tokens und somit auch nur mit einstelligen Bezeichnern. Damit ist auch eine Verwendung von "++" beispielsweise ausgeschlossen.

Hm? Wenn ich Variablen auf ein Zeichen beschränke, hat das doch keinen Einfluss auf den restlichen Lexer.

[guidok]

Zitat:

Zitat von Khabarakh

Hm? Wenn ich Variablen auf ein Zeichen beschränke, hat das doch keinen Einfluss auf den restlichen Lexer.

Stimmt. Wenn du als Vorgabe jedoch nur einstellige Variablen, die dann aus einem Buchstaben bestehen müssen (Zahlen fallen aus, weil die du ja auch mehrstellig benötigen wirst und die meisten Sonderzeichen fallen aus, weil du die evtl. als Operator brauchst), dann kannst du maximal 26 verschiedene Variablen haben. Mehr Buchstaben hat das Alphabet nicht.

[Alaitoc]

So melde mich nu auch wieder :)

Bisher sieht mein sozusagen "Überprüfungscode" so aus:

Delphi-Quellcode:

procedure TLexer.CheckText;
var
  i:Integer;
begin
  i:=0;
  while i <> length(m_Text)+1 do
  begin
  
    case m_Text[i] of
      'A'..'Z','a'..'z':
      begin
        case m_Text[i-1] of
          'A'..'Z','a'..'z':
          begin
            Insert('*',m_Text,i);
            Insert('1',m_Text,i);
            Insert('*',m_Text,i);
          end;
          '0'..'9':
          begin
            Insert('*',m_Text,i);
          end;
          '+','-','/':
          begin
            Insert('*',m_Text,i);
            Insert('1',m_Text,i);
          end;
          #0:
          begin
            Insert('*',m_Text,i);
            Insert('1',m_Text,i);
          end;
        end;
      end;
    end;

    case m_Text[i] of
      '(':
      begin
        case m_Text[i-1] of
          'A'..'Z','a'..'z':
          begin
            Insert('*',m_Text,i);
          end;
          '0'..'9':
          begin
            Insert('*',m_Text,i);
          end;
        end;
      end;
    end;

    case m_Text[i] of
      '0'..'9':
      begin
        case m_Text[i-1] of
          'A'..'Z','a'..'z':
          begin
            Insert('*',m_Text,i);
          end;
        end;
      end;
    end;
    inc(i);
  end;
end;

Bisher klappt es und er fügt die Zeichen immer ein:

z.b. 2x^2+3ab*5 = 2*x^2+2+3*a*1*b*5

weil mit so ner Struktur ist die Erkennung der Variablen leichter, eine Variable besteht immer aus:

Ziffer * Variable

unter Umständen dann noch

Ziffer * Variable ^ Ziffer

Zur Zeit bin ich am Zusammenfassen der Variablen, Addition und Subtraktion funktionieren schonmal soweit.

MfG Alaitoc