SQL Query Performance

[renekr]

Hallo,

Ich wollte mich mal erkundigen wie Ihr Größere Datensätze abfragt aus dem Programm heraus.
Ich habe zb.: 60T DS und das dauert als lang.

Ich lade diese in ein Grid rein.

Wie macht ihr das so?

Besteht zudem eine Möglichkeit eine ADOQuery oder ADOTable im Client zu sortieren,weil eine Order by auf die Performance des Servers geht.

danke

[generic]

Performance ist relativ...

Ich habe hier paar Tabellen mit 1-2 Mio. Datensätze.
Diese lassen sich noch in 1-2 Sekunden abfragen.

Bei den Tabellen mit mehr als 10 Mio. Datensätze, dauert es etwas länger, da diese selten im Zugriff sind (nicht gecached).
30-45 Sekunden - unser SAN ist etwas langsam.

Aber wenn du Tunen willst ...
Zeichne deine Zugriffe mit dem Profiler auf und lass das analysieren.
Das M.-Studio schlägt dir dann schon andere Keys/Indexe vor, wenn notwendig.

Ansonsten viel Ram in den Server bauen, schnelle Platten nehmen mit Raid. Nicht zu vergessen sind große CPU's mit viel Cache.

[edit]
Ah - hab das mit dem Grid überlesen. Meine Angaben beziehen sich auf die Query-Performance.

Wenn du soviele Datensätze läds, solltest du den VST verwenden.

[mkinzler]

Zu 1.) Ich würde nicht die komplette Datenmenge auf einmal fetchen. 60000 DS sind sowieso etwas viel (der Übersicht wegen)
2. erübrigt sich dann. Eigentlich ist das noch keine große Menge und sollte schnell sortiert sein.
Existieren den passende Indices?

[peschai]

Hallo
Ist es wirklich notwendig so viele Datensätze auf einmal zu laden ?
Kannst du die Menge nicht durch sinnvolles Filtern einschränken ?
Große Datenmengen verbrauchen bei ADO auch viel RAM!!

[Bernhard Geyer]

Verwenden für unsere Grid-Anzeigen maximal x Datensätze die per "select TOP x ..." erst gar nicht vom Server geholt werden.

[peschai]

Zitat:

Verwenden für unsere Grid-Anzeigen maximal x Datensätze die per "select TOP x ..." erst gar nicht vom Server geholt werden.

Was meinst du damit ?

[Hansa]

Zitat:

Zitat von renekr

Ich lade diese in ein Grid rein.

Wie macht ihr das so?

In einem Stringgrid. Faktor 10-100 schneller kann man schon alleine dadurch sein, dass das Stringgrid im Hintergrund gefüllt wird. Also nicht immer nur die DB im Verdacht haben.

[renekr]

Hi,
das ist mir klar.
Ich lade im moment die DS in ein DBGrid rein.
Auch mit Top 10 Percent.
das sidn dan n6600 Stück.


Aber wie kann ich das ev. besser machen?
Kein DB Komponente nehmen? Query aufmachen udn in ein non DB Grid rein füllen?

Oder wie kann ich zb. das Query oder ne Table im Client sortieren.

Ich zeige bei onclick oder onchanging der DBGrid die Details an und hole zudem noch ein Bild in ein image rein von der Kennummer abgeleitet.(Das Bild ist nicht in der DB sondern auf einem Share als Kleines jpg.

Was wäre am besten?


Danke

[alzaimar]

Niemand, aber auch wirklich niemand benötigt mehr als 1000 Datensätze im Client auf einmal. Alles lässt sich durch Paging, Filtern und Aggregate
optimal umsetzen.

Ich habe einen Kunden, der hat mit seiner Access-Applikation Monatsauswertungen der Kundenaufträge gemacht. Alle Datensätze reingesaugt und im Grid summiert. Mittlerweile hat er eine Funktion 'Zeige Monatsumsätze' und sieht die Ergebnisse für alle Kunden auf einmal. Viel schneller, viel besser, viel effektiver.

Man muss ein wenig umdenken, und dem Anwender die richtigen Werkzeuge (=vorgefertigte Reports) in die Hand drücken. Oder man bringt ihm SQL bei. Es gibt fast immer irgendwo einen Spezi, der sich dafür interessiert.

[peschai]

Zitat:

Alles lässt sich durch Paging, Filtern und Aggregate
optimal umsetzen.

Was bedeutet Paging und Aggregate ?
Ist das etwas von SQL ? Nur bei bestimmten Datenbanken ?

[mkinzler]

Paging bedeutet, dass man die Imhalte stückweise holt und anzeigt z.B. 500 Stück pro Seite) und dann zwischen den Seiten blättern kann.
Aggegate: Zusammenfassung von Datensätzen

[peschai]

kannst du mir ein Beipsiel für das Paging geben, ist das SQL?

[mkinzler]

Jein. Kann man durch die Limitierung der Datenmenge erreichen. MSSQL unterstützt m.W. das nicht direkt, man kann es aber durch Tricks erreichen:
http://www.aspheute.com/artikel/20000403.htm
Ein Beispiel dafür ist z.B. die Startseite der DP.

[alzaimar]

Im verlinkten Artikel fehlt der Zusatz, das die sortierte Spalte mit einem CLUSTERED INDEX versehen sein muss, damit die Sortierung nicht extra Zeit kostet. Stell Dir vor, Du willst Durch 10 Mio Datensätze blättern, und die 10Mio müssen jedesmal komplett sortiert werden. Beim CLUSTERED INDEX sind die Datensätze bereits sortiert, sodaß die SORT BY [ID-Feld] Klausel ignoriert wird

[renekr]

Hi,
kann man das Paging nur bei ASP machen oder auch bei W32 Apps?
Danke

[mkinzler]

Natürlich kann mann Paging auch mit Win32 machen. Der Link sollte nur auf das Vorgehen auf SQL-Seite hinweisen.

[renekr]

Hi,
könntest du mir ev. ein kurzes Beispiel geben?
Also SQL Query weiß ich mit Top 100 zb oder so.
aber wie Blättere ich ,mir wäre es am leibstzen es in 1 Grid rein zumachen,aber ohne Seitenwechsel,also das beim Scrollen neue Daten geladen werden.
Wen ndas überhaupt möglich ist.

habe das noch nie gemacht.

Wäre dir dankbar.

[DeddyH]

Vielleicht hilft Dir dieser Link weiter.

[renekr]

Hi,
leider nein.
mit SQL Query ken i mich gut aus.
Es geht darum das Pagin in ner W32 App auf zb. ein DBGrid hinzubekommen.

danke

[mkinzler]

Durch Verschieben des Fensters, also des 1. anzuzeigenden Datensatzes. Dabei ist es eigentlich unerheblich wie das ganze angezeigt wird. du kannst also auch beim Scrollen des Grids für das Nachladen sorgen. Hierfür sollte das fenster dann etwas größer als die angezeigte Menge sein.

[renekr]

Hi,
das wäre ja gut,kansnt du mir da ev. nen kurzes bsp geben.

hab das noch nie gemacht und weiß nicht wie und wo ich am besten laden soll.

danke