schnelle Algorithmen für Textanalyse gesucht

[Panthrax]

Hallo.

Ich möchte Text analysieren. Typische Fragen dabei sind:

• Wie häufig ist jedes Wort?
• Wie häufig ist jede Wortgruppe?
• Wie nah sind sich Wörter und Wortgruppen mit anderen Wörtern und Wortgruppen? Soll heißen: Wort(gruppe) A und Wort(gruppe) B stehen 0, 1, 2, 3,... Worte auseinander.
• Sind Worte/Wortgruppen zitiert? Welche, wie häufig?
• Wie kann ich die Formatierung der Worte als Gewichtung einfließen lassen?
• ...

Wer kennt Projekte, bei denen man sich ähnliche Funktionen ansehen kann? Gibt es Delphi-Komponenten oder -Funktionen, die sich mit sowas beschäftigen? Gibt es schon Routinen in dieser Richtung?

Ich habe schon in etlichen Suchmaschienen gesucht und so... Aber entweder mir fehlen die richtigen Suchbegriffe oder keine Ahnung...

Gruß
Panthrax

[marabu]

Hallo Panthrax,

der elementare Ansatz bei der Textanalyse ist die Trennung von zwei Funktionalitäten: der harvester / analyzer zerlegt die Texte in Wörter (und Sätze, Abschnitte, je nach Anspruch) und hält deren Dokumentzugehörigkeit in einer Datenbank fest. Der query processor liefert dann die gewünschte Information.

Der Parser scheint mir nicht sehr aufwendig zu sein. Problematischer ist die Implementierung eines performanten Speichers, der auch mit großen Textmengen (Kompression) zurecht kommt.

Es gibt eine Reihe von OpenSource Projekten, die sich mit full text retrieval befassen:
ht://dig, Harvest, Harvest-NG, SWISH-E.

Hier findest du eine Linksammlung.

Und für Delphi-Entwickler ist vielleicht Rubicon interessant.

Grüße vom marabu

[Panthrax]

Ich habe mir schon einige Sachen mal angesehen. Nicht schlecht. Danke.

Bin aber auch gern noch für weitere Implementierungen zu haben.

Panthrax