Hallo,
wie angekündigt hab ich mein Programm jetzt ebenfalls vorgestellt:
DoubleSource 
Bei meinem Programm werden Kommentare während des Preprocessings komplett rausgelöscht und unterschiedliche Formatierungen durch Leerzeichen oder Tabs normalisiert. Ich verwende zur Anzeige den VirtualTreeview wodurch die Visualisierung sehr schnell geht - kann ich dir nur empfehlen!
Ich hab meine Routine zur Duplikatssuche selbst geschrieben, anfangs sehr naiv (brauchte in etwa so lang wie deine erste Version) und hab sie dann Stück für Stück immer weiter verbessert bis ich sie jetzt soweit optimiert habe, dass sie sogar schneller ist als deine. *stolzbin*
Allerdings hab ich (noch) keine Progressbar drinnen, also ist der Vergleich nicht ganz fair.
Würd mich freuen wenn du es dir mal anschaust und einen Kommentar abgibst!
Gruß, Motzi