EMySqlException "ReceiveHeader: Net packets out of order..."

[MisterAHA]

"ReceiveHeader: Net packets out of order: received[1], expected[2]"

Multiple MyCommands over one MyConnection.
Only one connection can be used because there are temporary tables.

Delphi-Quellcode:

-------------- snip ------------- 
type SQLQueryThread=class(TThread) 
private 
sqlstr:ansistring; 
public 
constructor Create(querystr:ansistring); 
procedure Execute; override; 
destructor Destroy; override; 
end; 

var sema_threads_running,sema_threads_completed:integer; 

constructor SQLQueryThread.Create(querystr:ansistring); 
begin 
inherited Create(false); 
sqlstr:=querystr; 
inc(sema_threads_running); 
end; 

procedure SQLQueryThread.Execute; 
var dbcmd:TMyCommand; 
begin 
dbcmd:=TMyCommand.Create(frm_search_database); 
dbcmd.CommandTimeout:=3000; 
dbcmd.ParamCheck:=false; 
dbcmd.Prepared:=false; 
dbcmd.Connection:=frm_main.MyConnection1; 
dbcmd.SQL.Add(sqlstr); 
dbcmd.Execute; 
dbcmd.Free; 
end; 

destructor SQLQueryThread.Destroy; 
begin 
dec(sema_threads_running); 
inc(sema_threads_completed); 
inherited Destroy; 
end; 


//this part uses the threads 

progressbar1.Maximum:=sqlcommandlist.Count-1; 
sema_threads_running:=0; 
sema_threads_completed:=0; 
for i:=0 to sqlcommandlist.Count-1 do 
begin 
//alle befehle uebertragen 
SQLQueryThread.Create(sqlcommandlist.Strings[i]); 
repeat 
application.ProcessMessages; 
sleep(1); 
until(sema_threads_running<maxquerythreads); 
progressbar1.Position:=sema_threads_completed; 
end; 
repeat 
application.ProcessMessages; 
sleep(1); 
progressbar1.Position:=sema_threads_completed; 
until(sema_threads_running=0);

[Bernhard Geyer]

Bist du sicher das die verwendete MySQL-Zugriffskomponente Thread-Fähig ist?

Ich würde hier für jeden Thread ein eigenes Connection-Object verwenden und nicht auf die Connection des Hauptthreads zugreifen.

[MisterAHA]

es geht bei unserem tool darum, dass durch mehrere algorithmen eine temp-table gefüllt wird. dies muss parallel geschehen, da die nachfolgenden schritte von dieser temp-table abhängig sind.
die temp-table hat für uns sehr viele vorteile, darum muss sie auch bleiben!
es gilt nun eine lösung zu finden, alle threads nur eine connection nutzen lassen, wobei ALLE threads auch ALLE zur zeit befindlichen daten in der temp-table sehen müssen. (jeder thread muss also wissen, wie weit der andere gerade mit der "befüllung" der temp-table ist!)
anhand des quelltextes siehst du, wie wir das versucht haben, dabei ist allerdings besagter fehler aufgetreten.
vielleicht gibt es ja auch eine ganz andere lösung für unser problem, dass wir gerade nicht sehen!?

mfg andreas

[himitsu]

ihr könntet ja gleichzeitige Zugriffe über eine CriticalSection absichern,
außerdem müssen die VCL-Komponenten mit der VCL synchronisiert werden.

[Bernhard Geyer]

Du hast eine temporäre Tabelle und nutzt weder prepared Statements noch die ;öglichkeit mehrere INSERTS in einem Ablauf ablaufen zu lassen (Stichwort: BULK INSERT). Durch solche eine Optimierung könntest du evtl. komplettt auf Threads verzichten da du durch sowas eh die Datenbank (für diese Tabelle) nahezu zu 100% auslasten kannst.

Crosspost im Delphi-Forum

[MisterAHA]

alle übertragenen befehle sind insertsinto temptables select ...es werden keine nutzdaten übertragen!

[Bernhard Geyer]

Zitat:

Zitat von MisterAHA

alle übertragenen befehle sind insertsinto temptables select ...es werden keine nutzdaten übertragen!

Du kannst trotzdem alle insertintos in einm block (BULK) übertragen und ausführen lassen. Würde mich wundern wenn das Anstoßen in diversen Threads schnelle wäre.

[MisterAHA]

MYSQL arbeitet dann aber nur sehr unzureichend parallel,und daher bei multicore-cpu's nur auf "sparflamme" :roll:
aus diesem grund wollen wir unser programm multithread-fähig machen, um mysql voll ausreizen zu können.

[Bernhard Geyer]

Zitat:

Zitat von MisterAHA

MYSQL arbeitet dann aber nur sehr unzureichend parallel,und daher bei multicore-cpu's nur auf "sparflamme" :roll:
aus diesem grund wollen wir unser programm multithread-fähig machen, um mysql voll ausreizen zu können.

Wie werden Temporäre Tabellen gehandelt. Falls hier die Festplatte im Spiel ist wird wohl dort ein Bottleneck sein. Aber auch ohne Festplatte wird hier vermutlich eher wenig Parallelität möglich sein da ja alle auf einem Index ablaufen muß.

[MisterAHA]

ich versuche mal an dieser stelle, die problemstellung unseres projektes ein wenig weiter zu fassen.

es geht darum das unser tool auf eine datenbank zugreift. dies sollte auf jeden fall mit multithread geschehen.
da mysql ja schon multithreadfähig ist, müssen wir bei unserem tool ansetzen.
es gilt also nun, den algorithmus unsererseits ebenfalls multithreadfähig zu machen. dabei wäre es für uns am sinnvollsten über temptables zu gehen (der algorithmus füllt diese während eines threads mit informationen) die dann weiter verarbeitet werden können.
temptables deshalb, da diese von mysql bei einem fehler (und das kann auch nur ein absturz eines client sein) automatisch gelöscht werden, d.h. kein datenmüll übrig bleibt den die datenbank unnötig belastet.
alle threads MÜSSEN aber die GLEICHE temptable füllen, weil diese information in einem weiter schritt benötigt wird.
die temptables werden im ram gehalten.

hat vielleicht einer von euch einen strukturellen lösungsansatz für dieses problem? am besten wäre es, wenn der lösungsansatz mit nur einer connection auskommen würde.

mfg andreas