Volltextsuche in Blob möglichst schnell

[Teekeks]

Nun, es gibt fest 5 Gruppen.
Die Anzahl der Suchbegriffe variiert jedoch von Gruppe zu Gruppe und auch von Fall zu Fall.

Wie funktioniert sowas mit Volltextindex?
Hast du da vl auch etwas Lektüre damit ich mich da einlesen kann?

[mkinzler]

Beim Volltextindex werden die Wörter in einer Wortliste geführt. Und dann die Zuordnungen jedes Dokumentes zu den Wörtern

Siehe auch #5

[Teekeks]

Ahh!
Das klingt gut (womit wir wieder beim Anfang des Themas wären ^^).
Damit werde ich mich mal Beschäftigen.
Und diese Liste kann ich noch weiter verkleinern indem ich z.B. klein geschriebene Wörter nicht mit Indiziere (es geht immer nur um Nahrungsmittel, die werden ja alle Groß geschrieben) und jedes Wort nur 1x vorkommen lasse je Text.
Ich werde mir das mal genau ansehen!

Danke für deine Hilfe!

Gruß Teekeks

[mkinzler]

Du kannst die Sache aus nicht casesensitiv machen

[FredlFesl]

Zitat von mkinzler:

Beim Volltextindex werden die Wörter in einer Wortliste geführt. Und dann die Zuordnungen jedes Dokumentes zu den Wörtern

Siehe auch #5

Und ich dachte, ein Volltextindex ist was waahnsinnig komplex-kompliziertes, was entweder fest in einer DB untergebracht ist, oder nicht. Und wenn nicht, guckt man dumm aus der Wäsche.

[mkinzler]

Manche DBMS unterstützen das von Haus aus. Rein technisch wird es aber ähnlich gelöst

[Teekeks]

Ich habe das ganze so verstanden das in einer Tabelle Alle (unterschiedlichen) Wörter aller Texte mit einem Verweis auf den jeweiligen Text gespeichert werden.
Jetzt legt man einen Index auf beides und schon kann man sehr schnell herausfinden ob ein bestimmtes Wort in einem Text vorkommt.
Das ist vermutlich nicht ganz das was normalerweise gemacht wird, aber das wäre genau das was ich benötige.

[mkinzler]

Nein nicht ganz, in einer Tabelle stehen die möglichen Wörter in einer 2. die Zuordnungen zu den Textfeldern mit z.B. der Position im Text.
Willst du nun herausfinden, ob ein Wort in einem Text vorkommt, musst du nur Abfragen, ob mindestens eine Zuordnung wischen dem Text und dem Wort besteht.

[jobo]

Hier ist eine schöne Aufstellung, wann man mit FB BLOB oder Varchar benutzen kann/soll, allerdings auf Englisch.
http://www.volny.cz/iprenosil/interbase/ip_ib_strings.htm

Zur max. Länge bei Varchar, es kommt neben der FB-Version vermutlich auf den Charset an und evtl. auch auf 32/64bit System. Gerade bei BLOB und der Anforderung maximaler Größe macht es ja auch Sinn, die "Breite" des Systems auszunutzen. Beim Multibyte Charset wäre die Frage, ob es 2 Byte, 3 oder 4 sein müssen. (UTF8, Unicode usw.)
Aber ein Rezept für 1000 jährige Eier in Kantonesisch hat sicher seinen optischen Reiz.

Noch eine Varchar Variante (eignet sich für "einfache DB" und kombiniert BLOB Vorteil GROSS mit Varchar Vorteil INDEX usw)
Der Text wird in "mundgerechte" Stücke zerteilt. Eine separate Tabelle nimmt dann je Text die ID des Rezeptes sowie die Datensätze auf, die aus einer passenden Stückelung resultieren.
Die Spaltendefinition ist z.B. Varchar(100). Mit einer SP wird der Text angenommen und dann in ca 100 Zeichen Teilen eingefügt, immer abgetrennt nach dem letzten Wort, das noch rein passt. Als Variante könnte man auch eine Trennung nach Absätzen oder so machen (also CR/LF, Satzende, Halbsatz (Komma)..). Dann muss die Varcharspalte natürlich doch möglichst groß sein.
Je nach Verfahren bekommst Du dann bei der Abfrage automatisch noch die Satz oder Absatz Nummer ausgegeben, wenn Du einen entsprechenden Zusatzschlüssel für die Zeilen verwendest. Den kann man evtl. zur Visualisierung verwenden.

[Morphie]

Wie würdet ihr denn so eine Indizierung realisieren?
Ich habe es bis jetzt so gemacht, dass ich zwei Trigger in einer Tabelle habe:

1. wird bei DELETE ausgelöst. Hier werden dann die Datensätze in der Index-Tabelle gelöscht. (könnte man wohl auch anders lösen, z.B. über Fremdschlüssel / Referentielle Integrität)

2. wird beim UPDATE / INSERT geprüft, ob sich der Text im Blob-Feld geändert hat. Wenn ja werden die Einträge aus der Index-Tabelle gelöscht. Danach wird der Text aus dem Blob in einzelne Wörter aufgeteilt und wieder in die Index-Tabelle geschrieben.

Hier würde mich speziell interessieren, mit welchem Code ihr Punkt 2 lösen würdet. Oder ob ihr generell einen anderen Weg gehen würdet...