Tabellenübergreifender Index

[haentschman]

Guten Morgen...

nur mal so am Rande. Was für einen Geschwindigkeitsvorteil erhoffst du dir ? Um wieviele Datensätze handelt es sich denn ?

[idefix2]

Insgesant sind in der Tabelle ca 120000 Datensätze, die folgenden Queries liefern davon ca 55000

SQL-Code:

select * from musik 
where (titel like '% %') and (Titel>'lo')
order by titel

SQL-Code:

select * from musik 
where (titel like '% %') and (Titel>'lo')
order by titel,ip_name

ip_name ist jetzt ein berechnetes feld in der tabelle Musik, das ist immer noch um einiges schneller als ein joint der beiden Tabellen.

Die erste Abfrage liefert die ersten 20 Datensätze innerhalb von weniger als 1 Sekunde, ein Sprung ans Ende des Ergebnis-Sets dauert ca 4 Sekunden.
Die zweite Abfrage liefert die ersten 20 Datensätze innerhalb ca 35 Sekunden, ein Sprung ans Ende des Ergebnis-Sets dauert noch einmal ca 35 Sekunden.

Der einzige Unterschied ist die zusätzliche Sortierung nach dem Feld IP_Name, das ich, weil es ein berechneter Wert ist, nicht in den Index einbeziehen kann.

Natürlich kann ich zur Not eine Shadow-Spalte in der Tabelle Musik einrichten und über Trigger füllen, aber das kann es ja wohl nicht sein?

[haentschman]

Zitat:

Die zweite Abfrage liefert die ersten 20 Datensätze innerhalb ca 35 Sekunden

wobei ich fast dazu tendieren würde, daß das like dafür verantwortlich ist. Denn, wenn ich es noch richtig in Erinnerung habe, greift beim like der Index sowieso nicht.

Zitat:

ein Sprung ans Ende des Ergebnis-Sets

bedeutet was ?

[DeddyH]

Nicht ganz richtig. Das gilt nur dann, wenn der Suchbegriff mit einer Wildcard beginnt, dann kann der Index nicht mehr genutzt werden.

[haentschman]

Zitat von DeddyH:

Nicht ganz richtig. Das gilt nur dann, wenn der Suchbegriff mit einer Wildcard beginnt, dann kann der Index nicht mehr genutzt werden.

da hätten wir

Code:

titel like '% %'

Wildcard vorn und hinten

PS: DeddyH hat Recht... wie immer

[DeddyH]

Das ist ja auch schnell erklärt. Nehmen wir mal an, wir sollen im Telefonbuch manuell nach Namen suchen (nehmen wir mal "Müller"). Heißt die Aufgabenstellung "suche mir alle Namen, die mit Müller beginnen", geht man ja so vor:
- Gehe zu "M", dann weiter zu "Mü", dann zu "Mül" usw.
- nun haben wir alle gesuchten schön untereinander stehen und können sie rausschreiben

Ändert man aber die Aufgabe in "suche mir alle, die Müller enthalten", bleibt einem nichts anderes übrig, als bei "A" zu beginnen und alle Einträge der Reihe nach zu untersuchen.

[idefix2]

Nein.

Die Abfragen 1 und zwei lauten genau gleich, abgesehen von der Sortierung.
Die bedingung like... ist in beiden Abfragen enthalten, nur wenn ich in der Sortierung zusätzlich zu Titel das Feld IP_NAME angebe, wird die Query so langsam. Und IP_NAME hat mit dem like nichts zu tun.

Habe jetzt zum Überprüfen die like Klausel in beiden Abfragen weggelassen, es ändert nichts am Zeitverhalten (über diese Klausel wurden nur die Datensätze selektiert, die mehr als ein Wort im Titel haben, und das sind fast alle - Der Query Optimizer behandelt das offenbar richtig).

Zitat:

ein Sprung ans Ende des Ergebnis-Sets
bedeutet was ?

Nach Eingabe des SQL Befehls werden die ersten ca 15 Datensätze angezeigt (die auf den Schirm passen), danach springe ich ans Ende zu letzten 15 Datensätze (von insgeasamt ca 55000)

[xZise]

Wie verhält sich denn die Sortierung, wenn du es manuell machst?

Und eine Begründung könnte sein: Bei einer Sortierung geht Quicksort bei mehreren aber nur Mergesort (es war doch so, dass man bei order by die Sortierpriorität einstellte oder? Zuerst nach A dann darin alle nach B sortieren).

MfG
Fabian

[Sir Rufo]

Die Änderung Sortierpriorität ergab bei MySQL keine anderen Zeitwerte.
Auch ein Index auf musik.titel und/oder interpret.name brachte da nix.

Grund: MySQL legte die Abfrage in eine temp. Tabelle (bei 120000 Einträgen in Musik wurde die auch noch auf die Platte ausgelagert) und dann sortiert.
Die Sortierung nimmt dann ca. 60-70% der gesamten Abfragezeit in Anspruch.

Die zusammengeführte und über Trigger/Foreign-Key aktualisierte Tabelle mit den Ausgabewerten und natürlich den passenden Indizes für die gewünschten Sortierungen (IDX1=name,titel; IDX2=titel,name) ergibt trotz der 120000 Datensätze ein sehr schnelles Ergebnis.

Ist zwar etwas Daten-Overhead aber meines Wissen nicht anders zu lösen, wenn es auf absolute Performance ankommt.

[idefix2]

Zitat:

Vielleicht wäre es eine Option das Feld nur für die Ergebnismenge und nicht für die gesamte Tabelle berechnen zu lassen

Zitat:

in Verbindung mit kleineren Ergebnismengen (nur das holen was wirklich gebraucht wird)

Kleinere Ergebnismengen bekomme ich durch Angabe einer rows Klausel (entspricht Limit in mssql). Leider beschleunigt das den Vorgang nicht wesentlich.

Dank des Hinweises von DeddyH bin jetzt draufgekommen, dass man Indizes seit Firebird 2 doch auch nach Fremdtabellen berechnen kann (über computed by an Stelle einer Spaltenangabe). Allerdings beschleunigt das den Vorgang auch nicht nennenswert, obwohl ich nur die ersten 20 abrufe und ein Index vorhanden ist, geht Firebird über die ganze Tabelle.

Zitat:

nicht immer die Fehler nur bei anderen suchen.

Nicht aus dem Zusammenhang gerissen zitieren, würde ich sagen. Ich habe im nächsten Satz geschrieben:
Wobei ich eher annehme, dass es dafür eine Lösung gibt, und dass ich nur nicht weiss, wie sie aussieht.

Zitat:

Ansonsten muss eine Tabelle erstellt werden, die alle Ausgabefelder (und die IDs) beinhaltet und mittels Trigger gefüllt wird.

Das verstehe ich jetzt nicht. Welcher Trigger (ich meine auf welches Ereignis hin)? Meinst Du eine temporäre Tabelle, die Du vor der Abfrage füllst, oder führst Du eine Tabelle permanent parallel mit? - da wäre eine trigger-befüllte Shadow-Spalte InterpretName statt der berechneten Spalte in der Tabelle Musik noch billiger. So geht es natürlich und bringt eine akzeptable Performance, ist aber meines Erachtens extrem "unschön".