Hi,

was ist die beste Strategie, wenn es darum geht, während eines Migrationsprozesses Daten von einer alten Datenbank in eine Firebird-Datenbank zu übertragen? Speziell geht es um die Frage, wie sorge ich dafür, dass Windows (und alle anderen laufenden Prozesse) in der Zeit nicht lahm gelegt werden oder nur noch zögerlich reagieren?

Bisher sieht mein Code so aus, dass ich Tabelle für Tabelle durch die Quelldaten marschiere und dann Datensatz für Datensatz per

markieren

Delphi-Quellcode:

            InsertSQL := Format('INSERT INTO %s (%s) VALUES (%s)', [TableName, InsertFieldNames, InsertFieldValues]);
            qry_FB.SQL.Clear;
            qry_FB.SQL.Add(InsertSQL);
            qry_FB.ExecSQL(InsertSQL);

... die Daten in die Firebird-Tabellen schreibe. Alle hundert Datensätze gebe ich mal etwas Zeit ab:

markieren

Delphi-Quellcode:

              { Genügend Zeit abgeben, damit die Applikation nicht hängt. }
              if j mod 100 = 0 then begin
                Application.ProcessMessages;

Aber obwohl pro Sekunde mehr als 10 Mal das "Application.ProcessMessages;" aufgerufen wird, fühlt sich Windows und auch die eine oder andere Applikation sehr träge an. Es kann auch vorkommen, dass eine Applikation mehrere Minuten gar nicht mehr reagiert. Die gesamte Prozessauslastung von Windows liegt dabei aber lediglich um 20%, von insgesamt 16 GB Hauptspeicher ist noch 30% frei. Da sehe ich also keine Engpässe.

Im Moment ist das noch nicht so tragisch, dieser Migrationsprozess wird einmal ausgeführt und gut ist. Aber später in der eigentlichen Applikation werden häufig Berechnungen durchgeführt, bei denen zehntausende von Datensätzen aus unterschiedlichen Tabellen gelesen werden und ebenso viele Datensätze in anderen Tabellen gespeichert werden.

Wie hält man da seine eigene Applikation und auch das restlichen Windows "responsive"?

Danke, Gruß, Markus

die beste Strategie ist, sich um das Abgeben von Rechenzeit garnicht selbst zu kümmern.

Das Betriebssystem nutzt und verteilt MultCore-CPUs selbst optimal, wenn DU deine Aufgaben einfach per (Multi)Threads & Async-Tasks realisierst

Zitat von Zwirbel:

Wie hält man da seine eigene Applikation und auch das restlichen Windows "responsive"?

Ganz einfach: Alles was nicht UI ist in eine Thread packen...

20% CPU Last sagt nicht viel ,
da es sich um einen Datenbank Anwendung handelt wäre die Auslastung der Disks viel interessanter
(Windows 10 den Resourcenmonitor über den Taskmanager Seite 2 Leistung unten Aufrufen und dann Datenträger)

und Firebird ist ein eigener Prozess , den kümmert dein Application.Processmessages nicht
wenn dann würde nur durch ein Sleep weniger Daten an die DB versandt werden

mfg Hannes

Zitat von hstreicher:

20% CPU Last sagt nicht viel ,
da es sich um einen Datenbank Anwendung handelt wäre die Auslastung der Disks viel interessanter
(Windows 10 den Resourcenmonitor über den Taskmanager Seite 2 Leistung unten Aufrufen und dann Datenträger)

Die involvierte Disk ist eine "Samsung SSD 850 Pro 512", der Task-Manager zeigt 100% Auslastung. Ca. 6 MB/s Schreibgeschwindigkeit und <= 1,5 MB/s Lesegeschwindigkeit. Diese Konstellation ist sicherlich nicht das Optimum, ich stecke noch in den Anfangsschuhen mit der Entwicklung mit Firebird. Das mittelfristig ein eigener Firebird-Datenbank-Server her muss ist schon beschlossen. Aber ich will das heraus zögern bis Windows Server 2016 herausgekommen ist, dieses unsagbare Kachelgedöns unter Server 2012 geht mir auf die Nerven. Auf der anderen Seite gibt es Kunden die werden die Firebird-Datenbank nicht auf einem extra Fileserver betreiben sondern als embedded Datenbank auf dem Arbeitsplatzrechner (Notebook) der einzelnen Anwender und da fürchte ich wird man kaum mit einer SSD rechnen können.

Zitat von hstreicher:

und Firebird ist ein eigener Prozess , den kümmert dein Application.Processmessages nicht

Stimmt, meine Anwendung und Firebird teilen sich die 20% Gesamtauslastung ungefähr hälftig auf.

Zitat von hstreicher:

wenn dann würde nur durch ein Sleep weniger Daten an die DB versandt werden

Das Komische ist, das sich Thunderbird als Applikation heraus stellt, die während dieses Prozesses am ehesten unresponsive wird. Die Migrationsapp selbst läuft eigentlich flüssig und ihr GUI reagiert gut.

Bliebe später evtl. wirklich als letzter Ausweg, bei langen Berechnungen, Sleeps einzuführen. Naja, bis dahin ist es noch ein weiter weg.

Die Sache in Threads aufzuteilen ist natürlich auch eine Sache die ich mir anschauen werde.

Danke an alle für die Hilfestellungen. Gruß, Markus

Zitat:

Bliebe später evtl. wirklich als letzter Ausweg, bei langen Berechnungen, Sleeps einzuführen. Naja, bis dahin ist es noch ein weiter weg.

Besser gleich in Threads auslagern.

das folgende ist nur für den Kopiervorgang sinnvoll

in der Datenbank vor dem Kopieren alle Indices deaktivieren

und erst nachdem alle Daten eingefügt sind wieder aktivieren
-

Bitte mal wie vorgeschlagen im Resourcenmonitor(Gibts auch in Windows 7) die Seite mit dem Datenträger öffnen ,
über den Diagrammen steht da ein Wert Warteschlange
das sind die Schreib und Lesevorgänge die noch auf Bearbeitung warten
wenn der Wert dauerhaft deutlich über 1 liegt
dann ist das Plattensystem der Flaschenhals

mfg Hannes