![]() |
Datenbank: Firebrid • Version: 2.5 • Zugriff über: IBX
Abfrage dauert zu lange unter Delphi
Hallo Leite,
ich habe hier ein Problem mit der Laufzeit einer SQL Abfrage Hier die Abfrage:
Delphi-Quellcode:
Ein Index ist jewals auf den Felden Refernz, Eingang, StatusRaus und Materialtyp
Select Refernz,Eingang,StatusRein ,StatusRaus
From Material where Eingang IS NULL and MaterialTyp not in ('Rohre') and StatusRaus <> 'Auftrag noch nicht erzeugt' and Refernz is not NULL Die Tabelle hat ca. 3,8 Mio Datensätze und das Ergebnis sind ca. 1 - 20 Datersätze. Nun aber zum Problem. Ich benutze hier eine TIBQuery um die Daten abzufragen. Wenn ich die Query im Objektinspektor bei Active auf True gestzt so dauert es ca. 8 Sekunden was auch in Ordnung ist. Wenn ich es nun in meinen Programm mache dauert es 5-8 Minten bis die Daten vorliegen. Vor dem Aktivieren Starte ich eine neue Transaction. Was mache ich den falsch ? So langsam weiß ich nicht mehr weitere. Ich haben schon UniDirectional und BufferChuks geändert. Die Version von Delphi ist 7 Es kann doch kein Unterschied sein ob die im Abjektinspektor die Eigenschalt Active auf True setzte oder im Programm ? |
AW: Abfrage dauert zu lange unter Delphi
Und Du bist Dir ganz sicher, das es der gleiche Connection ist? Und andere Fallen gibt es auch nicht? Z.B. berechnete Felder oder irgendwelche Events?
|
AW: Abfrage dauert zu lange unter Delphi
Zitat:
|
AW: Abfrage dauert zu lange unter Delphi
Mach doch mal vor dem Open ein DisableControls und hinterher ein EnableControls.
|
AW: Abfrage dauert zu lange unter Delphi
Es sind halt auch 3.8 Mio records und er macht Stringvergeliche ohne Ende (auch noch mit IN('',...)) ... das kann je nach DBMS und DB-Server (hardware) etwas dauern.
Ich würde einfach mal die zeit messen oder mit einem Admin-Tool die Abfrage laufen lassen und sehen, wie lange das alles ohne das eventuelles Client-Gedönse (Delphi, Events) dauert. Dann würde ich wissen, wo ich ansetzen muss ... |
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Zitat:
|
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Zur Laufzeit werden auch die folgenden bis zu 19 Datensätzen aus den 3,8 Millionen angefordert, und bis die eintreffen, dauert es länger. Beweis: in einem SQL Client Tool die gleiche Abfrage ausführen und bis zum Ende des Resultsets scrollen. |
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Trotzdem gute Idee. Hat mich schon manchen Haarbüschel gekostet... |
AW: Abfrage dauert zu lange unter Delphi
Okay, dann hatte ich etwas überlesen. Ich wollte auch nur die grundlegende Herangehensweise bei solchen Problemen benennen.
Trotzdem sollte man immer alles betrachten (DB-Design, Protokolle, clientseitige Events). |
AW: Abfrage dauert zu lange unter Delphi
Zitat:
|
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Nein es hängt da nichts dran |
AW: Abfrage dauert zu lange unter Delphi
Zitat:
|
AW: Abfrage dauert zu lange unter Delphi
Wie bereits gesagt, in der Entwicklungsumgebung wird beim Öffnen der Datenmenge nur der erste Datensatz geholt.
Dann unterbricht die Datenbankabfrage. Um die Gesamtlaufzeit zu ermitteln, muss man zum letzten Datensatz springen. Zur Laufzeit hängt vermutlich auch ein Grid an der DataSource. Das fordert nach dem Öffnen mit Standardeinstellungen automatisch so viele Datensätze an, wie derzeit darstellbar sind. Die lange Laufzeit ist bei der Datenmenge in Kombination mit dieser Abfrage nicht verwunderlich. Poste uns doch mal den berechneten Ausführungsplan. |
AW: Abfrage dauert zu lange unter Delphi
Bei IN kann auch kein Index greifen. Wenn die Werte mit 'Röhre" beginnen könnte man STARTING WITH statt IN verwenden, dann mit Indexunterstützung.
|
AW: Abfrage dauert zu lange unter Delphi
Ich gehe davon aus, daß das IN hinterher mit mehreren Werten gefüllt ist. Niemand wird ein = durch ein IN ersetzen! (oder doch?)
Gruß K-H |
AW: Abfrage dauert zu lange unter Delphi
Jegliche Ungleichheitsoperatoren (<>, IS NOT, NOT IN etc.) können in der Regel nicht durch einen Index bedient werden, d.h. der einzige Index der ev. greift ist auf dem Feld "Eingang".
Mich würde primär mal der Ausführungsplan interessieren. |
AW: Abfrage dauert zu lange unter Delphi
Und etwas Klarheit zu bekommen würde in Delphi mal folgende Abfrage testen:
SQL-Code:
Diese Abfrage erzeugt auf dem Server annähernd die gleiche Last; allerdings wird nur ein einziger Datensatz an den Client übertragen.
Select COUNT(*) AS Anzahl
From Material where Eingang IS NULL and MaterialTyp not in ('Rohre') and StatusRaus <> 'Auftrag noch nicht erzeugt' and Refernz is not NULL Somit lässt sich erkennen wo der Flaschenhals ist. Und dann würde ich dir DRINGEND empfehlen das Feld "StatusRaus" als Integerfeld anzulegen. Überlege dir welche Statuswerte es gibt und welche es in Zukunft noch geben könnte. |
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Zitat:
Zitat:
|
AW: Abfrage dauert zu lange unter Delphi
Zitat:
|
AW: Abfrage dauert zu lange unter Delphi
Wäre ja wohl auch noch schöner.
|
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Also : and MaterialTyp <> 'Rohre' Nun zum Ausführungsplan. Leider ist es richtig das hier wirklich nur ein Index greift und zwar der vom Feld Eingang. Mir war nicht bewusst das beim negieren der Index nicht mehr greift. Man lernt immer dazu. Also Dauert es nun wirklich so lange bis die wenigen Datensätze ausgelesen sind ? Gibt es noch eine Möglichkeit für mich wo ich etwas ändern kömnnte ? Schon einmal Danke alle hier Ihr seit einfach die Experten. |
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Zitat:
|
AW: Abfrage dauert zu lange unter Delphi
Wenn Du von 3,8 mio auf 20 Datensätze kommst, muss irgendetwas in den Parametern ja diese Einschränkung bringen.
Das Kriterium, das die größte Einschränkung bringt, sollte idealerweise per Index laufen. Neben den genannten Vorschlägen, würde ich mal probieren, wieviel die eine Spalte mit Index bringt, also wie groß /klein das Ergebnis bereits ist und das in einer Kapselung weiter einschränken, wenn es bereits klein genug ist. Also bspw. im ersten Schritt per Kriterium 1 von 3,8 Mio auf 10 T und im 2. die restlichen Kriterien anwenden, ist dann quasi nur noch etwas Kopfrechnen. Im Grunde ist das Spielerei mit dem Optimizer, geht vermutlich auch per Hints, weiß nicht genau wie das bei Firebird ist. Konkret wäre noch der Vorschlag, das schwache Referenz is not null gegen ein kräftiges Referenz> ' ' oder anderes auszutauschen, je genauer, desto besser. Dann könnte hier auch der Index greifen. Muss natürlich sichergestellt sein, dass das Kriterum auch die gleiche Menge ergibt. |
AW: Abfrage dauert zu lange unter Delphi
Hallo,
ich warte immer noch auf den Query-Plan ... Heiko |
AW: Abfrage dauert zu lange unter Delphi
Wir alle warten auf den Ausführungsplan :-D, aber im Wesentlichen hat der Thread-Ersteller die Indexverwendung schon bestätigt. Ich würde jetzt sogar noch etwas weiter ausholen, nämlich:
Wie gesagt, jegliche Negation unterbindet die Verwendung eines Index. D.h. man könnte den Spieß umdrehen und z.b. zusätzlich eine Art "Status-Schattenfeld" via Trigger mitwarten, um darüber mit einem nicht-negierten indexierten Zugriff einen Großteil der Datenmenge auszufiltern. Hängt halt stark davon ab wieviele Kombinationsstati es gibt. Ob sich dieses Vorgehen lohnt ist halt sehr spezifisch (bzgl. Datenvolumen, Selektivität der neuen Schattenstati etc.), aber durchaus in der Praxis anzutreffen. LG |
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Beispiel: 'Field <> 'b' Der Index sieht so aus: 'AAAbbbbbbbbCCC', d.h. wir haben 14 records, 3 mit 'A' und 8 mit 'b' und 3 mit 'C'. Ohne Verwendung des Index müssen wir einen Scan durchführen, mit Verwendung können wir die Sequenz (darum geht es doch beim Abarbeiten der Query) für diese Bedingung einfach durch Konkatenation der beiden Teilindexe 'AAA' und 'CCC' bilden. Das ist (hier) wesentlich schneller als der Scan. Die Verwendung des Index ist aber teuer, sodaß er selten dieser Fall seltener Einsatz kommt, aber in Extremfällen (z.B. 90% der Records haben im Feld 'b' zu stehen), bringt das durchaus etwas, einen Index zu verwenden. |
AW: Abfrage dauert zu lange unter Delphi
Ist technisch erst möglich wenn zum Zeitpunkt der Planerstellung der Optimizer Kenntnis über die Verteilung der Daten hat. Aktuell gibt es diese Information nicht, sondern es wird banal gesagt derzeit alles über den Selektivitäts-Kamm eines Index geschert. Mit der Einführung der Speicherung von Histogrammdaten für Indizes schauts dann anders aus. Hier hat dann der Optimizer zur Prepare-Time viel mehr Möglichkeiten.
Ein extremeres Beispiel ist mit einem Boolean-Feld. Angenommen wir haben eine große Tabelle (> 1 Mio Datensätze) wo nur ein Datensatz den Wert FALSE beinhaltet. Die Verwendung eines Index für die Suche nach TRUE wird in der Regel immer langsamer sein als ein Full-Table Scan, weil für den Zugriff zum eigentlichen Datensatz immer doppelt gemoppelt wird, sprich Index Page laden, Lookup des Datensatzes = Data Page laden. Abfrage des einen Datensatzes mit FALSE siehts natürlich ganz anders aus. Bei der Mitführung eines Histogramms würde der Optimizer wissen, dass 999999 Einträge TRUE speichern und 1er FALSE. Dieses Wissen kann sich dann der Optimizer zu nutze machen, dass je nach Abfrageprofil ein Index verwendet wird oder auch nicht. Siehe auch: ![]() Ursprünglich für Firebird 3 geplant, aber aktuell für V3 rausgenommen. |
AW: Abfrage dauert zu lange unter Delphi
Stimmt. Ohne Statistiken ist hier nichts zu holen. Danke für die Aufklärung.
|
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Das Probelm liegt hier eindeutig am Index. Ich habe es wie hier Geschrieben mit einen Zusätzlichen Feld gelöst. Für weitere Anregungen bin ich immer offen. Wenn mir geholfen wird und ich vor allen noch etwas lernen kann bin ich immer dabei.
Inhalt von gstat Database header page information: Flags 0 Checksum 12345 Generation 299054 Page size 16384 ODS version 11.2 Oldest transaction 288592 Oldest active 295032 Oldest snapshot 295032 Next transaction 295513 Bumped transaction 1 Sequence number 0 Next attachment ID 3538 Implementation ID 26 Shadow count 0 Page buffers 0 Next header page 0 Database dialect 3 Creation date Feb 11, 2012 13:40:10 Attributes force write Variable header data: *END* Ups hier wirde eine alte Transaction anscheinend nicht geschlossen. Muss ich doch mal im Code prüfen wo der Fehler liegt. Was ist ein Ausführungsplan ? |
AW: Abfrage dauert zu lange unter Delphi
Ich werfe es mal in die Runde:
Eine zusätzliche Zugriffs-Schicht zwischen der Anwendung und der Datenbank kann dieses Problem sehr elegant lösen, denn Änderungen laufen durch diese Schicht, und ohne Änderungen ändert sich das angeforderte Ergebnis auch nicht und kann also aus dem Cache beantwortet werden. Erst nach einer Änderung wird die Abfrage wirklich erneut ausgeführt. Das bedingt natürlich, dass man sich in der Anwendung vom SQL-Gedanken trennt und dort mehr auf den echten Kontext konzentriert. |
AW: Abfrage dauert zu lange unter Delphi
@Dumpfbacke:
Zitat:
Wenn du die Abfrage auch tatsächlich ausführst, dann sollte auch die Information wieviele Indexed/Non-Indexed Reads etc. durchgeführt wurden. Zitat:
Zitat:
@Sir Rufo: Grundsätzlich ja, aber hier meiner Meinung totaler Overkill. Da ist dann die Frage der Aktualität des Caches, der Invalidierung etc. Der Firebird Page Cache + OS File Cache reicht hier in der Regel aus. |
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Es sieht jetzt anders aus da ich ja ein Index auf ein neues Feld gesetzt habe damit ich die Auswahl schon mal sehr weit veringern konnte. Plan PLAN (Material INDEX (IDX_Material_STANDARDARBEITSAUFT)) ------ Performance info ------ Prepare time = 21ms Execute time = 2s 553ms Avg fetch time = 150,18 ms Current memory = 173.919.496 Max memory = 181.610.688 Memory buffers = 10.240 Reads from disk to cache = 26.893 Writes from cache to disk = 0 Fetches from cache = 146.993 Zitat:
Daten aus der Conf # Number of cached database pages # # This sets the number of pages from any one database that can be held # in cache at once. If you increase this value, the engine will # allocate more pages to the cache for every database. By default, the # SuperServer allocates 2048 pages for each database and the classic # allocates 75 pages per client connection per database. # # Type: integer # DefaultDbCachePages = 1024 Auf diese DB greifen nicht viele zu. Es sind 3 Stück und Ram hat die Kiste so 6 GB |
AW: Abfrage dauert zu lange unter Delphi
Naja, eigentlich wäre der PLAN von deinem Originalstatement interessant gewesen. Das Statement unten dauert jetzt < 3 Sekunden d.h. was passiert jetzt mit dem Rest der von dir zuletzt genannten 10 Minuten? :-D
|
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Kein Problem habe ich schnell mal erzeugt. Plan PLAN (Material INDEX (IDX_Material_Eingang)) ------ Performance info ------ Prepare time = 10ms Execute time = 6m 26s 316ms Current memory = 174.484.452 Max memory = 181.610.688 Memory buffers = 10.240 Reads from disk to cache = 104.184 Writes from cache to disk = 0 Fetches from cache = 1.544.588 Das Programm steuert ein anderes Programm da ich handarbeit nicht mag. :-D Hierzu wird die Zeit benötigt. |
AW: Abfrage dauert zu lange unter Delphi
Puh, ja, die Ausführungszeit und I/O zeigt eigentlich schön den Unterschied. Indexed vs. Non-Indexed Reads für beide Fälle sollte das nochmal verdeutlichen, aber ich denke die Performance ist jetzt Ok oder brauchst du noch Hilfe?
|
AW: Abfrage dauert zu lange unter Delphi
Zitat:
Eine Kleine Frage noch zum Cache. Hat der Eintrag in der Conf nicht funktioniert oder muss der Wert vor dem erstellen der Datenbank schon eingetragen werden ? Soll ich es mit Gfix ändern. Danke für Deine Super hilfe hier. |
AW: Abfrage dauert zu lange unter Delphi
Zitat:
LG |
Alle Zeitangaben in WEZ +1. Es ist jetzt 22:15 Uhr. |
Powered by vBulletin® Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024-2025 by Thomas Breitkreuz