Unabhängig davon, wie man die Daten denn in den
RAM schaufelt, würde ich als optimal schnellen Parser einen DEA implementieren. Aus regulären Ausdrücken kann man so einen DEA (Deterministischen Endlichen Automaten) autmatisch erstellen. Theoretisch würde sich jede Regular-Expressions-Klasse eignen, aber viele der Implementierungen sind im Hauruck-Verfahren erstellt und alles andere als performant.
Ich würde mich vielleicht direkt mit LEX / YACC beschäftigen, die erzeugen die DEA nach dem klassischen Verfahren. Meine Compilerbau-Zeit liegt schon einige Jahre zurück, aber ich würde mal annehmen, das einem DEA performancemäßig kein anderer Algo das Wasser reichen kann.
Über deine Resultate würden sich hier bestimmt Viele freuen!