Firebird Volltextsuche

[Morphie]

Hi,

ich bin gerade dabei mir eine Volltextsuche in Firebird zu bauen.
Ich habe das ganze bis jetzt so aufgebaut, dass über verschiedene Trigger automatisch ein Suchindex erstellt wird.
Die Indextabelle sieht in etwa so aus:

Code:

CREATE TABLE INDEXTABELLE (
  ID            BIGINT NOT NULL, /* Autowert */
  REFERENZID    BIGINT NOT NULL, /* Die ID aus dem dazugehörigen Datensatz in einer anderen Tabelle */
  FELDNAME      VARCHAR(32) NOT NULL,
  WERT          VARCHAR(255) NOT NULL,
);

Beim Anlegen und Updaten eines Datensatzes in meiner Tabelle werden automatisch alle Textfelder in einzelne Wörter aufgeteilt und in die Index-Tabelle in das Feld "WERT" geschrieben. Außerdem wird der Feldname abgespeichert, damit man die Suche optional auf einzelne Felder einschränken kann...

Jetzt habe ich also eine Tabelle mit tausenden Datensätzen, soweit klappt alles.

Ich weiß jetzt nur nicht recht, wie man die Suchabfrage am besten zusammenbaut, wenn man mehrere Suchbegriffe eingibt.
Gefunden werden sollen die Datensätze, die alle Suchbegriffe beinhalten.

Kann mir da jemand einen Tipp geben? Gibt es spezielle Funktionen dafür? Ich steh im Moment etwas auf dem Schlauch.

Edit:
Ich habe hier mal etwas gebastelt, was zu relativ guten Ergebnissen führt... Allerdings muss ich hierbei die Abfrage zur Laufzeit zusammensetzen, was mich etwas stört...

Code:

SELECT FIRST 50 * FROM MYTABLE P
INNER JOIN 
(SELECT REFERENZID, COUNT(*) X FROM 
(SELECT * FROM INDEXTABELLE WHERE WERT LIKE '%SUCHBEGRIFF1%' 
UNION 
SELECT * FROM INDEXTABELLE WHERE WERT LIKE '%SUCHBEGRIFF2%') 
UNION 
SELECT * FROM INDEXTABELLE WHERE WERT LIKE '%SUCHBEGRIFF3%') 
GROUP BY REFERENZID) I ON (P.ID = I.RELATIONID)
ORDER BY I.X DESC;

Die ganzen UNIONS müssen also je nachdem wie viele Suchbegriffe ich eingebe, entsprechen dynamisch erstellt werden... Unschön finde ich =/
Gibts ne andere Lösung?

[nahpets]

Hallo,

eine "undynamische" Lösung fällt mir da nicht ein.
Ohne Dynamik ginge es nur, wenn Du die maximale Anzahl von Suchbegriffen vorher festlegst. In dem Fall könntest Du mit Parametern arbeiten.

Eventuell läßt sich die Dynamik mit folgendem Statement vereinfachen:

Code:

select first 50 p.*, i.Anzahl
from mytable p
inner join
(
  select referenzid, count(*) as Anzahl
  from indextabelle
  where 1 = 2
  -- variabler Teil -------------
  -- [Zitat]Gefunden werden sollen die Datensätze, die alle Suchbegriffe beinhalten.[/Zitat]
  -- daher AND, UNION entspräche einem OR.
  and   wert like '%SUCHBEGRIFF1%
  and   wert like '%SUCHBEGRIFF2%
  and   wert like '%SUCHBEGRIFF3%
  ...
  and   wert like '%SUCHBEGRIFFx%
  and   wert like '%SUCHBEGRIFFy%
  -------------------------------
  group by 
    referenzid
) i on (p.id = i.referenzid)
order by 
  i.Anzahl desc

[himitsu]

Die Suche nach PRCE hat "SIMILAR TO" ergeben, als Ersatz für das Like, um damit gleichzeitig nach mehr suchen zu können.
http://www.firebirdsql.org/refdocs/l...imilar-to.html

Du mußt bei der Suche nur aufpassen, daß es nun neben "%" und "_" noch weitere Kontrolzeichen gibt.
[ ] ( ) | ^ - + * % _ ? und { dürfen nicht in den Suchbegriffen vorkommen oder müssen noch mit "\" escapet werden.
Und wenn der ganze String nicht als Parameter übergeben wird, dann auch noch das ' escapen.

SQL-Code:

select first 50 p.*, i.Anzahl
from mytable p
inner join
(
  select referenzid, count(*) as Anzahl
  from indextabelle
  where 1 = 2 and wert similar to '%SUCHBEGRIFF1%|%SUCHBEGRIFF2%|%SUCHBEGRIFF3%' -- bzw. '%(SUCHBEGRIFF1|SUCHBEGRIFF2|SUCHBEGRIFF3)%'
  group by referenzid
) i on (p.id = i.referenzid)
order by i.Anzahl desc

[Morphie]

Danke Genau sowas habe ich gesucht!!

[DeddyH]

Zitat:

where 1 = 2

Ist das ein Versehen, oder habe ich die Logik nur nicht durchblickt?

[mjustin]

Kleiner Tipp: es gibt eine Firebird Version mit Volltextsuche.
Als Engine wird dabei Apache Lucene verwendet.

[Morphie]

Hmm so ganz perfekt ist die Lösung doch nich nicht...

Es ging mir ja auch darum, alle Datensätze zu finden, auf die alle Suchbegriffe zutreffen.

Bei himitsus Lösung, sowie bei meinem ersten Versuch werden alle Datensätze zurückgegeben, auf die mindestens ein Suchbegriff zutrifft.
Wie gesagt, es sollen alle Suchbegriffe zutreffen.

Bei nahpets Lösung bekomme ich gar kein Resultat zurück.
Das liegt einmal an dem 1=2, was die Suche unmöglich macht,
dann liegt es aber auch daran, dass man den Wert nicht mit and verknüpfen kann.
Angenommen ich habe in der Index-Tabelle folgendes stehen:

Code:

ID      REFERENZID     FELDNAME     WERT
1      445           NAME1       MÜLLER
1      445           NAME1       HEINZ

Jetzt kann ich nicht einfach mit and verknüpfen, das würde dann ja so aussehen:

Code:

select * from indextabelle where wert like '%MÜLLER%' and wert like '%HEINZ%';

Der Datensatz kann nicht gleichzeitig Müller und Heinz im Feld Wert stehen haben...

Wie man das allerdings sonst umsetzen kann weiß ich auch nicht...

[DeddyH]

Und wenn Du mit OR verknüpfst?

[Morphie]

Dann lande ich wieder bei dem gleichen Ergebnis wie in meinem 1. Versuch und mit Himitsus Lösung

[mkinzler]

Suchst du wirklich immer im gleichen Feld?