Werden weitere Bedingungen geprüft wenn das Ergebnis..

[Elvis]

Deine Tokenizerfunktionen sind in .Net schlichtweg nicht mehr notwendig.

Code:

string[] tokens = "blubb.jo".Split(new char[1] {'.'});
int countTokens = tokens.Length;
foreach(string token in tokens)
  Console.WriteLine(token);

Oder in meiner fav. .Net-Sprache:

Delphi-Quellcode:

var tokens := 'blubb.jo'.Split(['.']);
var countTokens := tokens.Length;
for token : String in tokens do
  Console.WriteLine(token);