Wenn ich dich richtig verstanden habe, soll die Priority von die Position in der Array dargstellt werden?
Nun die Anzahl der Tokens ist Variable, kommt darauf an wie viele Elemente die Sprache hat, die erkannt werden soll.
Desweiteren soll es möglich sein, die ID nicht nach der Reihenfolge vergeben zu können. Die IDs stellen lediglich
einen Erkennungswert für den Benutzer da.
Beispiel:
Delphi-Quellcode:
const
MyTokenId : Cardinal = 12;
...
if Tokenizer.CurrentToken.Id = MyTokenId then
//An dieser Stelle ist mein Token aufgetaucht.
Vondaher...
Atm überlege ich, ob ich die Kontrolle der ID's nicht weglassen kann, schließlich kann es ja der Fall sein dass mehrere Tokens den gleichen Bereich abdeken. z.B. Strings können sowohl mit ' als auch " beginnen, in diesem Fall wäre es sinnvoll nur eine ID zu verwänden.
Sollte dies und obriges der Fall sein, hat sich der Konflikttest auch erledigt.
