Datenimport wird sehr langsam

**sega84**

Hallo,
ich erstelle momentan ein Programm welches Daten aus einer MS Access Datenbank ausließt und in eine MSSQL Datenbank einpflegt, eben eine normale Konvertierung.

Hier nun ein Beispiel für den Import von Personen:

zusammenfalten · markieren

Delphi-Quellcode:

			procedure TDMKonvert.ImportPersonen;

var sHausNr:string;

var iStrassenID, iOrteID, iRTID:integer;

var sBemerkung:string;

begin

  adoDSAdressen.CacheSize := 1000000;

  adoDSAdressen.Open;

  myProgressbar.min := 0;

  myProgressbar.max := adoDSAdressen.RecordCount;

  myProgressBar.position := 0;

  BPDSetPersonen.open;

  BPDSetRechtstraeger.First;

  iRTID := BPDSetRechtstraeger.getIntValue('id');

  while not adoDSAdressen.eof do

  begin

    sBemerkung := '';

    BPDSetPersonen.Insert;

    sHausNr := LeftStr(GetStrasseHausnr(adoDSAdressen.FieldByName('ADR_Strasse').AsString, true), 10);

    BPDSetPersonen.FieldByName('hausnr').AsString := sHausNr;

    iOrteID := GetOrt(adoDSAdressen.FieldByName('ADR_PLZ').AsString, adoDSAdressen.FieldByName('ADR_ort').AsString);

    BPDSetPersonen.FieldByName('orte_id').AsInteger := iOrteID;

    iStrassenID := GetStrasse(iOrteID, GetStrasseHausNr(adoDSAdressen.FieldByName('ADR_Strasse').AsString, false));

    BPDSetPersonen.FieldByName('strassen_id').AsInteger := iStrassenID;

    BPDSetPersonen.FieldByName('DEBITOREN_NR').AsString := adoDSAdressen.FieldByName('ADR_DebitorenNr').AsString;

    BPDSetPersonen.FieldByName('rechtstraeger_id').AsInteger := iRTID;

    BPDSetPersonen.FieldByName('name').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_Familienname').AsString, 30);

    BPDSetPersonen.FieldByName('name_2').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_Namenszusatz').AsString, 30);

    BPDSetPersonen.FieldByName('vorname').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_Vorname').AsString, 30);

    BPDSetPersonen.FieldByName('geburtsdatum').AsDateTime := adoDSAdressen.FieldByName('ADR_GebDat').AsDateTime;

    BPDSetPersonen.FieldByName('telefon').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_Telefon1').AsString, 30);

    BPDSetPersonen.FieldByName('mobil').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_Telefon2').AsString, 30);

    BPDSetPersonen.FieldByName('fax').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_Telefax').AsString, 30);

    BPDSetPersonen.FieldByName('email').AsString := LeftStr(adoDSAdressen.FieldbyName('ADR_EMail').AsString, 50);

    BPDSetPersonen.FieldByName('KTO').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_KtoNr').AsString, 10);

    BPDSetPersonen.FieldByName('KONTOINHABER').AsString := LeftStr(adoDSAdressen.FieldByName('ADR_KtoInhaber').AsString, 27);

    BPDSetPersonen.FieldByName('sys_insert').AsDateTime := adoDSAdressen.FieldByName('angelegtam').AsDateTime;

    BPDSetPersonen.FieldByName('sys_update').AsDateTime := adoDSAdressen.FieldByName('geaendertam').AsDateTime;

    BPDSetPersonen.FieldByName('bemerkungen').AsString := sBemerkung;

    BPDSetPersonen.FieldByName('konvert').AsString := adoDSAdressen.FieldByName('ADR_GUID').AsString;

    BPDSetPersonen.Post;

    slstPersonen.Add(adoDSAdressen.FieldByName('ADR_GUID').AsString+'=' + IntToStr(BPDSetPersonen.getLastInsertId));

    adoDSAdressen.next;

    myProgressbar.position := myProgressBar.position + 1;

    if myProgressbar.position mod 50 = 0 then

    begin

      myLabel.Caption := IntToStr(myProgressbar.position) + ' von ' + IntToStr(myProgressbar.max);

      application.processmessages;

    end;

  end;

  adoDSAdressen.Close;

end;

Die ca. 1000 ersten Datensätze werden sehr schnell importiert. Die nachfolgenden Datensätze werden nur viel langsamer importiert.
Somit kann es sein, dass die ersten 1000 Datensätze innerhalb von 2 Minuten importiert werden, die nächsten 1000 Datensätze brauchen hingegen ca. 4 Minuten, die nächsten 1000 dann etwa 8 Minuten.

Auf die MSSQL Datenbank greife ich via eigener BridgePattern zu, die auf ADO-Komponenten basiert.
Auf die Access Datenbank greife ich via TADOConnection zu (JET Treiber).

Bitte gibt mir einen Tipp, wie ich den Import stabilisieren kann, so dass alle Datensätze mit gleicher Zeit eingepflegt werden.

Vielen Dank.

Datenimport wird sehr langsam

Datenimport wird sehr langsam

Forumregeln