Performance Problem bei SQL-Abfrage

[Hansi]

Hey,

Ich habe ein größeres Performance-Problem bei meinen Abfragen; Ich schreib mal kurz was ich mache:

Es handelt sich um einen Datenimport von einer Txt-Datei in eine MySQL DB.

1. Zu erst wird die txt-Datei geöffnet und die komplette Datei zeilenweise eingelesen und die Spalten (die txt-Datei ist Tab-getrennt) bzw die Werte in ein Array gelesen.
2. Nun wird das erste Array genommen und überprüft ob es diesen Datensatz schon gibt. Mit SQL(Select...ID=ID; wenn recordcount > 0 dann update(SQL), ansonsten insert(SQL).
3. bei update und insert wird jeweils per ParamByName(ca. 7-12 Stück) die Werte aus dem Array zugewiesen.

Das klappt alles wunderbar, nur dass ich damit ca. bei localhost 3 Datensätze pro Sekunde einlese und auf einem Webserver nur 1 Datensatz in 3 Sekunden.

Woran könnte ich "schrauben", damit der Speed deutlich schneller wird?

MfG
Hansi

[mkinzler]

-Ich würde das Einlesen und verarbeiten in einem Schritt durchführen.
-Auch den Insert würde ich mit dem Select kombinieren insert into ... where not exists ...
-Da die Reihenfolge der Parameter sich ja nicht ändert, kannst du diese ja per Index zuweisen.

[Gollum]

Hallo,

wie sieht es mit Indexen aus?

Gebe allen Feldern, die in der WHERE-Klausel Deiner SELECT- und UPDATE-Anweisung stehen, einen Index. Dies sollte Deinen Import evtl. beschleunigen.

Beschränke Dich im SELECT nur auf die Felder, die auch tatsächlich benötigt werden:

SQL-Code:

  SELECT ID
  FROM MeineTabele 
  WHERE (ID=10)

[Jelly]

Wie gross ist die bestehende MySQL Tabelle?

Inserts laufen wesentlich schneller ab, wenn kein Index auf der Tabelle existiert. Selects (und updates mit where Bedingung über Indexspalte) dafür langsamer. Vielleicht hilft es ja, den Index erst zu löschen, dann alle Datensätze einzufügen, und anschliessend den index neu zu erstellen.

In MySQL existiert auch die erweiterte Insert Anweisung, die auch einen Performanceschub geben wird:

insert into table (feld1,feld2) values (1,2),(2,3)(3,4)...

[Hansi]

Danke euch beiden.

- Einlesen und Verarbeiten in einem Schritt machen: Was hat das für einen Speed-Vorteil? Oder meinst du das nur vom Ablauf her?
- Insert mit Select kombinieren; Das ist glaube ich gar nicht schlecht; Könnte was bringen. Nur wie mache ich das mit der Trennung von insert und update?
- Das mit dem Select beschränken habe ich schon gemacht.
- Das mit den Indexes muss ich mal testen; habe ich bis jetzt noch nicht verwendet. Mal schaun wie viel das bringt.

Gibt es sonst nochwas? Ich dachte an z.B. alle Insert bzw update in einem riesen String zusammenfassen und auf einmal ausführen. Bringt das was, anstatt jeden Datensatz einzeln einfügen?

- Insert ohne Index; dafür select und update mit Index; mal schaun...
- Insert mit Values muss ich auch mal testen. Bringt das viel? Bisher habe ich mit Set gearbeitet

[Jelly]

Du hast mir immer noch nicht verraten, wieviel bestehende Datensätze in der MySQL Tabelle stehen, und wieviele in der zu importierenden Textdatei.

[mkinzler]

Zitat:

alle Insert bzw update in einem riesen String zusammenfassen und auf einmal ausführen. Bringt das was, anstatt jeden Datensatz einzeln einfügen?

Zitat:

- Insert mit Values muss ich auch mal testen. Bringt das viel? Bisher habe ich mit Set gearbeitet

Dies ist ja daselbe.

[Hansi]

upps...
in der DB sind am Anfang 0; in der txt-Datei (beim test ca. 100 Zeilen mit 5 Werten) In "Echt" werden es ca. 5000-10000 Zeilen

[Gollum]

Hallo,

der schnellste Weg um in MySQL Daten einzufügen ist LOAD DATA INFILE .
Schau Dir einmal die Syntax im MYSQL-Referanz-Manual an. Evtl. kannst Du damit etwas anfangen.

[Hansi]

Zitat von mkinzler:

Zitat:

alle Insert bzw update in einem riesen String zusammenfassen und auf einmal ausführen. Bringt das was, anstatt jeden Datensatz einzeln einfügen?

Zitat:

- Insert mit Values muss ich auch mal testen. Bringt das viel? Bisher habe ich mit Set gearbeitet

Dies ist ja daselbe.

nein; Ich meinte alle Inserts "zusammensammeln" und mit einem ExecSQL ausführen. Das mit den Values war doch angedacht für jede Zeile der txt-Datei einem Insert, oder?