AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Datenbanken Delphi Performance Problem bei SQL-Abfrage
Thema durchsuchen
Ansicht
Themen-Optionen

Performance Problem bei SQL-Abfrage

Ein Thema von Hansi · begonnen am 22. Aug 2006 · letzter Beitrag vom 24. Aug 2006
Antwort Antwort
Seite 1 von 2  1 2      
Hansi

Registriert seit: 8. Okt 2004
271 Beiträge
 
#1

Performance Problem bei SQL-Abfrage

  Alt 22. Aug 2006, 13:30
Datenbank: MySQL • Version: 4.1 • Zugriff über: ZEOS
Hey,

Ich habe ein größeres Performance-Problem bei meinen Abfragen; Ich schreib mal kurz was ich mache:

Es handelt sich um einen Datenimport von einer Txt-Datei in eine MySQL DB.

1. Zu erst wird die txt-Datei geöffnet und die komplette Datei zeilenweise eingelesen und die Spalten (die txt-Datei ist Tab-getrennt) bzw die Werte in ein Array gelesen.
2. Nun wird das erste Array genommen und überprüft ob es diesen Datensatz schon gibt. Mit SQL(Select...ID=ID; wenn recordcount > 0 dann update(SQL), ansonsten insert(SQL).
3. bei update und insert wird jeweils per ParamByName(ca. 7-12 Stück) die Werte aus dem Array zugewiesen.

Das klappt alles wunderbar, nur dass ich damit ca. bei localhost 3 Datensätze pro Sekunde einlese und auf einem Webserver nur 1 Datensatz in 3 Sekunden.

Woran könnte ich "schrauben", damit der Speed deutlich schneller wird?

MfG
Hansi
  Mit Zitat antworten Zitat
mkinzler
(Moderator)

Registriert seit: 9. Dez 2005
Ort: Heilbronn
39.861 Beiträge
 
Delphi 11 Alexandria
 
#2

Re: Performance Problem bei SQL-Abfrage

  Alt 22. Aug 2006, 13:37
-Ich würde das Einlesen und verarbeiten in einem Schritt durchführen.
-Auch den Insert würde ich mit dem Select kombinieren insert into ... where not exists ...
-Da die Reihenfolge der Parameter sich ja nicht ändert, kannst du diese ja per Index zuweisen.
Markus Kinzler
  Mit Zitat antworten Zitat
Benutzerbild von Gollum
Gollum

Registriert seit: 14. Jan 2003
Ort: Boxberg
456 Beiträge
 
Delphi 10.1 Berlin Professional
 
#3

Re: Performance Problem bei SQL-Abfrage

  Alt 22. Aug 2006, 13:37
Hallo,

wie sieht es mit Indexen aus?

Gebe allen Feldern, die in der WHERE-Klausel Deiner SELECT- und UPDATE-Anweisung stehen, einen Index. Dies sollte Deinen Import evtl. beschleunigen.

Beschränke Dich im SELECT nur auf die Felder, die auch tatsächlich benötigt werden:
SQL-Code:
  SELECT ID
  FROM MeineTabele
  WHERE (ID=10)
  Mit Zitat antworten Zitat
Benutzerbild von Jelly
Jelly

Registriert seit: 11. Apr 2003
Ort: Moestroff (Luxemburg)
3.741 Beiträge
 
Delphi 2007 Professional
 
#4

Re: Performance Problem bei SQL-Abfrage

  Alt 22. Aug 2006, 13:45
Wie gross ist die bestehende MySQL Tabelle?

Inserts laufen wesentlich schneller ab, wenn kein Index auf der Tabelle existiert. Selects (und updates mit where Bedingung über Indexspalte) dafür langsamer. Vielleicht hilft es ja, den Index erst zu löschen, dann alle Datensätze einzufügen, und anschliessend den index neu zu erstellen.

In MySQL existiert auch die erweiterte Insert Anweisung, die auch einen Performanceschub geben wird:

insert into table (feld1,feld2) values (1,2),(2,3)(3,4)...
  Mit Zitat antworten Zitat
Hansi

Registriert seit: 8. Okt 2004
271 Beiträge
 
#5

Re: Performance Problem bei SQL-Abfrage

  Alt 22. Aug 2006, 13:52
Danke euch beiden.

- Einlesen und Verarbeiten in einem Schritt machen: Was hat das für einen Speed-Vorteil? Oder meinst du das nur vom Ablauf her?
- Insert mit Select kombinieren; Das ist glaube ich gar nicht schlecht; Könnte was bringen. Nur wie mache ich das mit der Trennung von insert und update?
- Das mit dem Select beschränken habe ich schon gemacht.
- Das mit den Indexes muss ich mal testen; habe ich bis jetzt noch nicht verwendet. Mal schaun wie viel das bringt.

Gibt es sonst nochwas? Ich dachte an z.B. alle Insert bzw update in einem riesen String zusammenfassen und auf einmal ausführen. Bringt das was, anstatt jeden Datensatz einzeln einfügen?

- Insert ohne Index; dafür select und update mit Index; mal schaun...
- Insert mit Values muss ich auch mal testen. Bringt das viel? Bisher habe ich mit Set gearbeitet
  Mit Zitat antworten Zitat
Benutzerbild von Jelly
Jelly

Registriert seit: 11. Apr 2003
Ort: Moestroff (Luxemburg)
3.741 Beiträge
 
Delphi 2007 Professional
 
#6

Re: Performance Problem bei SQL-Abfrage

  Alt 22. Aug 2006, 13:55
Du hast mir immer noch nicht verraten, wieviel bestehende Datensätze in der MySQL Tabelle stehen, und wieviele in der zu importierenden Textdatei.
  Mit Zitat antworten Zitat
mkinzler
(Moderator)

Registriert seit: 9. Dez 2005
Ort: Heilbronn
39.861 Beiträge
 
Delphi 11 Alexandria
 
#7

Re: Performance Problem bei SQL-Abfrage

  Alt 22. Aug 2006, 13:57
Zitat:
alle Insert bzw update in einem riesen String zusammenfassen und auf einmal ausführen. Bringt das was, anstatt jeden Datensatz einzeln einfügen?
Zitat:
- Insert mit Values muss ich auch mal testen. Bringt das viel? Bisher habe ich mit Set gearbeitet
Dies ist ja daselbe.
Markus Kinzler
  Mit Zitat antworten Zitat
Hansi

Registriert seit: 8. Okt 2004
271 Beiträge
 
#8

Re: Performance Problem bei SQL-Abfrage

  Alt 22. Aug 2006, 13:58
upps...
in der DB sind am Anfang 0; in der txt-Datei (beim test ca. 100 Zeilen mit 5 Werten) In "Echt" werden es ca. 5000-10000 Zeilen
  Mit Zitat antworten Zitat
Benutzerbild von Gollum
Gollum

Registriert seit: 14. Jan 2003
Ort: Boxberg
456 Beiträge
 
Delphi 10.1 Berlin Professional
 
#9

Re: Performance Problem bei SQL-Abfrage

  Alt 22. Aug 2006, 14:01
Hallo,

der schnellste Weg um in MySQL Daten einzufügen ist LOAD DATA INFILE .
Schau Dir einmal die Syntax im MYSQL-Referanz-Manual an. Evtl. kannst Du damit etwas anfangen.
  Mit Zitat antworten Zitat
Hansi

Registriert seit: 8. Okt 2004
271 Beiträge
 
#10

Re: Performance Problem bei SQL-Abfrage

  Alt 22. Aug 2006, 14:03
Zitat von mkinzler:
Zitat:
alle Insert bzw update in einem riesen String zusammenfassen und auf einmal ausführen. Bringt das was, anstatt jeden Datensatz einzeln einfügen?
Zitat:
- Insert mit Values muss ich auch mal testen. Bringt das viel? Bisher habe ich mit Set gearbeitet
Dies ist ja daselbe.
nein; Ich meinte alle Inserts "zusammensammeln" und mit einem ExecSQL ausführen. Das mit den Values war doch angedacht für jede Zeile der txt-Datei einem Insert, oder?
  Mit Zitat antworten Zitat
Antwort Antwort
Seite 1 von 2  1 2      


Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 17:33 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz