array of records mit Daten aus SQL Query füllen

[Relicted]

ich schließe mich mal meinen vorrednern an zum thema "das ist die aufgabe der DB".

Wenn du den krempel wirklich lokal machen "möchtest" solltest du überlegen das initiale befüllen der records in einen thread auszulagern und im hintergrund zu machen. bis der job fertig ist muss der nutzer mit der "langsamen" datenbank vorlieb nehmen.


hier noch ne info für die anderen:

Zitat von Gushiken, anderes Forum:

Die Daten benötige ich zum Programmstart, zudem soll alle 10-15min ein update der Daten gemacht werden.

gruß
reli

[nahpets]

Hallo,

bei 'nem Index für jede der Spalten

Code:

strassen.id
orte.id
personen.strassen_id
personen.orte_id
personen.sys_delete

sollte das auch mit 'nem MSSQL-Server ratzfatz gehen.
Wenn's Stringgrid nur zum Lesen und nicht für die Anzeige gebraucht wird, dann ist doch sicherlich Visible := false?

Und wenn schon die Daten im Arbeitsspeicher, was macht ihr den bei Änderungen an den Daten, jedesmal Programm neu starten und warten. Bevor Du irgend welche Umwege machst, um Geschwindigkeitsprobleme der Datenbank zu umgehen, sorg' erst mal dafür, dass Du die Fähigkeit der Datenbank ausreizt. Wenn's dann noch unerträglich sein sollte, dann überleg' Dir Alternativen.

MSSQL ist sicherlich nicht berühmt für Geschwindigkeit, aber auf einem halbwegs zeitgemäßen Server ist's für die Abfrage von Personendaten durchaus schnell genug. Wie oft suchen die Anwender denn überhaupt? Permanent oder 3 Stück die Stunde, da kann dann eine Wartezeit von 'ner Sekunde durchaus ok sein. Und wenn's mal 2 oder 3 sind, schimpft auch noch kein Anwender. Aber ob's nun 3ms oder 50ms oder 500ms sind, das merkt doch niemand. Und lohnt sich dafür der Aufwand, beim Programmstart alles in den Speicher zu laden und dabei möglichst viel Zeit zu sparen?

Wenn's Dir drum geht, zu lernen, wie man sowas programiert, okay, aber für den dauerhaften Arbeitseinsatz, überleg Dir das noch mal.

[Bernhard Geyer]

Zitat von Gushiken:

.. meinte das eine Personensuche bei einer Tabelle mit ca 100.000 Datensätzen schnell 20s dauert, inkl. Verarbeitung und Anzeige im Grid.

Komisch das ich Wildcardsuchen auf ca. 1 Mio. Datensätze in weniger Zeit hinbekomme. Zeiten bei DB-Servern hängen von Faktoren wie Speicher/HD-Ausbau, ... ab. Aber über 100 k Datensätze lacht so ziemlich jede Datenbank.

Zitat von Gushiken:

Zudem verwenden wir einen MSSQL Server der, soweit ich weiß, ne ganze Ecke langsamer ist als MySQL.

Quatsch. Ich habe hier ähnliche Datenmengen einmal auf MS SQL Server (2005) und einmal MySQL (5.0.x), jeweils 64-Bit auf der gleichen Maschiene laufen und spielen bei unseren Abfragen in einer ähnlichen Liga. Nur unser Oracle (32-Bit) fällt ewas ab.

Zitat von Gushiken:

Aber wie groß war die Datenbank denn wenn die Abfrage bloß 3ms dauert?? Und hattest du LEFT JOIN's in der Abfrage? Hier mal die 'echte' SQL Abfrage:

Existiert auf p.sys_delete ein Index? Falls nein machst du einen Full-Table-Scan welcher längert dauert als wenn ein Index verwendet werden kann.

[Gushiken]

Hm... okay.. das mit dem Index und so müsste man mal testen.
Im Moment braucht der Datenbankserver für das auslesen der Daten für das Array ca 6 Sekunden.
Ein SELECT * braucht 19 Sekuden.

Da man an der Performance beim erstellen des Arrays anscheinend nicht mehr viel machen kann werden wir wohl unsere Datenbankstruktur etwas überarbeiten müssen. Das wird ein Spaß.. -.-

Nunja, trotzdem DANKE für die extrem schnellen und auch guten Antworten, ich war ehrlich gesagt doch etwas überrascht!!

[Hansa]

Erkläre mir mal den Zusammenhang zwischen dem hier :

Zitat von Gushiken:

Das Grid bremst das ganze zwar schon deutlich, etwas über eine Minute, aber auch ohne die Visualisierung im Grid bemötige ich noch durchschnittlich 3-4 Minuten...

und dem :

Zitat von Gushiken:

Im Moment braucht der Datenbankserver für das auslesen der Daten für das Array ca 6 Sekunden.

Wo liegt jetzt der Haken ? Das sieht doch ziemich offensichtlich aus. Verwunderlich ist dann noch, dass keiner auf TStrings bzw. TStringList verweist. Das ist zum Zusammensuchen von Daten jedenfalls besser geeignet als die visuellen Dinger.

[DeddyH]

Naja, mit TStrings wird es aber schwierig, eine Matrix abzubilden.

[Hansa]

Array of Record schreit ja auch geradezu nach einer TObjectList. Aber meine Zwischenfrage ist damit noch nicht beantwortet.