*Das* ist ein langes Thema, man braucht unter Umständen Jahre um das einigermaßen gut zu können. Am besten fängst du für sowas mit Deterministischen Endlichen Automaten an (Infos gibts u.a. in der Wikipedia). Das ist dann der Tokenizer.. Der Parser, der dir deinen Tokenstrom in einen Baum fasst, ist normalerweise ein Stackautomat (dazu gibts auch Infos im Wiki). Mein Parser (okay, einer der vielen, genauer HAM) ist so aufgebaut, allerdings ohne Kommentare. Vielleicht hilfts ja das mal anzusehen
Zu dem Thema gibts übrigens ganze Buchreihen