schnelle Textsuche in Dateien

[lkz633]

Hallo,

angenommen ich möchte in Dateien, die in einer Datenbank gespeichert sind, nach Text suchen.
Jede Datei in einen Stream laden, Text extrahieren und mit pos drin suchen ist natürlich kein Problem, nur bei sehr vielen Dateien vermutlich unendlich langsam.

Was gibt es für bessere Ideen bzw Ansätze? Inwieweit hilft mir Multithreading weiter bzw inwieweit macht es Sinn?

Danke und Gruss
lkz633


@Mods: Hat nicht unbedingt direkt etwas mit DB zu tun, deswegen hier, falls anderer Meinung bitte verschieben.

[Binärbaum]

Also mit Multithreading ist man insgesamt nicht wirklich schneller, man teilt damit die Suche nur anders auf. Insgesamt müsste man damit sogar ein klein wenig langsamer sein als ohne Multithreading, da das OS ja ständig zwischen den Threads hin- und her wechselt. Das ergibt natürlich auch einen gewissen (allerdings geringen) Aufwand, der sich bei längeren Suchen allerdings aufsummiert.
Ausnahme ist natürlich, wenn man gleich zwei Prozessoren hat, die sich in die Arbeit reinteilen. Allerdings wird das, soweit ich weiß, (noch) nicht von Windows unterstützt, sondern bisher nur unter Linux. Eventuell wären threads auch bei den Pentium -Prozessoren mit HT vorteilhaft, aber dmit kenne ich mich nicht so genau aus.

MfG
Binärbaum