Zugriff auf IBM DB2 Datenbank mit ADO

[skullcrusher]

Hallo !

Ich bin gerade dabei einen Zugriff auf eine DB2 Datenbank über das Internet zu realisieren.
Das ganze erfolgt unter D7 Prof mit ADO.
Es ist dabei auch notwendig einen Select über die gesamte Datenbank zu machen.
Leider enthält die Datenbank über eine Million Datensätze was auf einmal geladen
ein zeitliches Problem darstellt.
Zuerst dachte ich, man könnte da ähnlich dem "limit" Befehl bei MYSQL die geladenen
Datensätze beschränken und diese dann nacheinander abfragen. Aber etwas ähnliches
gibt es bei DB2 nicht.
Hat jemand Erfahrung mit DB2 und einen Tipp wie ich die Daten in kleineren Paketen
anfordern kann ??

Bin für jeden Tipp dankbar.

Tschau,

Stephan

[marabu]

Hallo Stephan,

bei großen Datenmengen stellt sich immer die Frage der Verwendung. Was soll der Benutzer mit einer Million Datensätzen anfangen? Normalerweise präsentiert man nur eine überschaubare Datenmenge. Wenn du ein wenig Hintergrundinformationen gibst, dann gibt es bestimmt auch ein paar zielführende Ratschläge.

Grundsätzlich musst du bei größeren DataSets darauf achten, dass der DB-Cursor nicht auf deinem Client verwaltet wird, sonst werden wirklich alle Tupel zuerst dorthin geschickt.

Grüße vom marabu

[mkinzler]

Zitat:

Es ist dabei auch notwendig einen Select über die gesamte Datenbank zu machen.
Leider enthält die Datenbank über eine Million Datensätze was auf einmal geladen
ein zeitliches Problem darstellt.

Das ist in den seltensten Fällen notwendig.
Eine solche datenmeneg wäre auch in einem lokalen Netzwerk ein Problem. Du solltset überprüfen, wie du die benötigte Datenmenge einschränkst.

[skullcrusher]

Okay,

sorry das ganze etwas konkreter:
Also das Programm führt einen Abgleich zwischen einer DB2 Datenbank
und einer MYSQL Datenbank druch. Quasi so eine Art Sicherheitsbackup.
Es überprüft ob der Datensatz der DB2 Datenbank in der MYSQL Datenbank vorhanden
ist und ob er verändert wurde. Entweder gibts dann einen Update der Datenbank
oder der gesamte Datensatz wird bei Nichtvorhandensein in die MYSQL Datenbank
eingefügt.
Das ganze ist sehr flexibel gehalten, das heisst der Anwender bestimmt welche Datenbank
mit MYSQL abgeglichen wird.
Wir haben reell jetzt schon einen Anwender mit über 600000 Datensätzen und ein Bekannter
meinte er hätte in dem Benutzerkreis eben auch noch grössere Datenbanken gesehen.
Damit ich dann wirklich das Vorhandensein eines DB2 Datensatzes in der MYSQL Datenbank
ermitteln kann macht das Programm einen select * auf DB2 und geht dann Datensatz
für Datensatz durch.
Oder gibt es noch einen anderen Weg zum Abgleich zwischen den beiden Datenbanken
auf den ich, warum auch immer, noch nicht gekommen bin ?

Bis dann,

Stephan

[Bernhard Geyer]

Zitat:

Zitat von skullcrusher

Ich bin gerade dabei einen Zugriff auf eine DB2 Datenbank über das Internet zu realisieren.
Das ganze erfolgt unter D7 Prof mit ADO.

Und wieso nicht native z.B. mitSQL-Direct oder ZEOS?

Zitat:

Zitat von skullcrusher

Es ist dabei auch notwendig einen Select über die gesamte Datenbank zu machen.
Leider enthält die Datenbank über eine Million Datensätze was auf einmal geladen
ein zeitliches Problem darstellt.

Falls es nicht für ein Grid benötigt wird (da sind 1. Mio. Datensätze fehl am Platz) so mußt du versuchen einen Forward-Only-Curser zu verwenden, welcher Blockweise die Daten zum Client schaufelt und nachdem sie vom Client mittel MoveNext "abgearbeitet" wurden gleich wieder verworfen werden.

Zitat:

Zitat von skullcrusher

Zuerst dachte ich, man könnte da ähnlich dem "limit" Befehl bei MYSQL die geladenen
Datensätze beschränken und diese dann nacheinander abfragen. Aber etwas ähnliches
gibt es bei DB2 nicht.

Das ihr alle nicht googeln könnte. Innerhalb von 2 Minuten gefunden: Subselect
Suchbegriff war ibm db2 select limit, 4 Treffer.

[skullcrusher]

Ach ja, ich habe vergessen zu erwähnen:
Diese Datenbank mit 1 Million Datensätzen ist eine Testdatenbank
um einfach mal den Worst Case durchzuspielen.
Ich will ja dann beim Anwender keine Überraschungen erleben.....

[skullcrusher]

Zitat:

Und wieso nicht native z.B. mitSQL-Direct oder ZEOS?

Der Kunde will das nicht anders. Des Menschen Wille ist sein Himmelreich ;-)

Zitat:

Falls es nicht für ein Grid benötigt wird (da sind 1. Mio. Datensätze fehl am Platz) so mußt du versuchen einen Forward-Only-Curser zu verwenden, welcher Blockweise die Daten zum Client schaufelt und nachdem sie vom Client mittel MoveNext "abgearbeitet" wurden gleich wieder verworfen werden.

Hm, ja das wäre zu probieren. Ich muss zugeben bei den Cursorn bei ich kein Crack.
(Nicht lachen). Aber ich werde mich mal damit auseinandersetzen....
Ich habe auch schon versucht im SQL Befehl mit "Declare Cursor" ( habe ich von der IBM
Page ) einen Cursor zu definieren. Hat aber nicht geklappt, warscheinlich habe ich da
was falsch verstanden....

Zitat:

Das ihr alle nicht googeln könnte. Innerhalb von 2 Minuten gefunden: Subselect
Suchbegriff war ibm db2 select limit, 4 Treffer.

Hm, der subselect ? Was bringt mir der ? Den kann ich doch nicht über mehrere verschiedene
Datenbanksysteme verwenden oder ?

Die Suche über google mit den Stichwörtern von oben hat mir nur Hinweise auf
"fetch first" oder die random() Funktion gebracht. Ich will aber weder immer nur
die ersten xxx Datensätze von DB2 noch einen zufälligen Datensatz.

Gut, aber wie gesagt: Die Cursorsache werde ich mir mal zu Gemüte führen.....

Danke,

Stephan

[mkinzler]

Zitat:

Der Kunde will das nicht anders. Des Menschen Wille ist sein Himmelreich Wink

Komisch weder MySQL noch DB2 sind eigentlich Datenbanken für die sich ADO anbieten würde.
Wenn es nur um den Abgleich geht, wäre u.U. ja nicht der ganze Datensatz an den Client zu übertragen, vielleicht würde da die Kombination ID und Hash reichen.

[Bernhard Geyer]

Zitat:

Zitat von skullcrusher

Zitat:

Und wieso nicht native z.B. mitSQL-Direct oder ZEOS?

Der Kunde will das nicht anders. Des Menschen Wille ist sein Himmelreich ;-)

Das sollte dem Kunden egal sein. Für IBM DB2 muss er noch zusätzliche Treiber installieren die er bei nativen Zugriff vermutlich (aufgrund anderer Programme) schon installiert hat.

Stell mal die W-Frage zu ADO.

[skullcrusher]

Zitat:

Stell mal die W-Frage zu ADO.

Hm,ja hast ja Recht. Aber: Ändert das etwas an dem Problem mit den
enorm vielen Datensätzen ? Ich meine die abzufragende Datenbank bleibt ja gleich.
Nur die Art des Zugriffs ändert sich. Habe ich mit Zeos bei DB2 andere Möglichkeiten ?
( Mal davon abgesehen das es warscheinlich generell schneller als ADO ist ... )

[mschaefer]

Moin moin,

wenn Du ein LastChanged-Feld mit TimeStamp in der Quelldatenbank führen würdest, dann könntest Du eine Where-Klauasel darauf ansetzen. Das dürfte die Datenmenge pro Lauf dramatisch reduzieren.

Grüße // Martin


PS: ZEOS ist deutlich schneller. Im Wesentlichen ist es aber eine Arbeitserleichterung für Dich, da Du nur mit einem Zugriffskomponententyp zutun hast.

[Bernhard Geyer]

Zitat:

Zitat von skullcrusher

Hm,ja hast ja Recht. Aber: Ändert das etwas an dem Problem mit den
enorm vielen Datensätzen ? Ich meine die abzufragende Datenbank bleibt ja gleich.
Nur die Art des Zugriffs ändert sich. Habe ich mit Zeos bei DB2 andere Möglichkeiten ?
( Mal davon abgesehen das es warscheinlich generell schneller als ADO ist ... )

U.u. ja. Da ADO eine "allgemeine" Schnittstelle ist welche primär auf MS-Datenbanken zugeschnitten ist sind hier evtl. eine Möglichkeiten der DB verbaut die du mit einem native Zugriff besitzt. Da ich beruflich noch nicht mit DB2 zu tun hatte (bis auf eine Testinstallation mit Zugriff über die Oracle-Kompatible schnittstelle) kenn ich leider keine Details.

Ob Zeos im Vergleich zu deinem bisherigen ADO-Zugriff schneller ist müssten ein Testprogramm herausfinden.

[skullcrusher]

Zitat:

Zitat von mschaefer

Moin moin,

wenn Du ein LastChanged-Feld mit TimeStamp in der Quelldatenbank führen würdest, dann könntest Du eine Where-Klauasel darauf ansetzen. Das dürfte die Datenmenge pro Lauf dramatisch reduzieren.

Moin !

Mensch, das ist eine gute Idee. Vielleicht kann ich meinen Kunden davon überzeugen
das so zu machen. Warum bin ich da nicht drauf gekommen.......

DANKE !