TADOCommand - Delete Befehl von mehreren Benutzern zu gleichen Zeit

[Piro]

Moin zusammen,

ich bin seit Tagen auf der Suche nach der Lösung meines Problems und komme einfach nicht weiter.

Im SQL Log steht dauernd:

Code:

12/01/2015 06:45:33,Logon,Unknown,Login failed for user '*****User'. Reason: Password did not match that for the login provided. [CLIENT: xxx.xxx.xxx.xxx]

Es gibt eine Anwendung, die von ca. 2000 Benutzer aufgerufen wird. Zum Teil relativ zeitnah. Soll heißen morgens, wenn Sie den Rechner starten und sich anmelden.
Die Anwendung ermittelt Computerdaten und speichert diese in eine MS SQL Datenbank und löscht alte Daten, die nicht mehr aktuell sind in Bezug zum Computer.

Dabei kommt es zu dem oben genannten Log.
Heute waren es ca. 2000 Aktualisierung. Davon haben 133 ein Login Fehler verursacht. Es werden alle Daten ordentlich gespeichert. Nur das Löschen der alten Daten macht Probleme. Aber wie gesagt heute nur bei 133 Benutzern. Es sind nicht immer die gleichen :-(

Delphi-Quellcode:

SQLCommand.CommandText := 'delete from computer_clientfailure where computername='+QuotedStr(sysname);
SQLCommand.Execute;

Die Datenbankverbindung ist noch aktiv.

Ich habe gelesen, dass ein Delete Statement eine Tabelle exklusiv öffnet.

Kann es sein, dass dies das Problem ist? Mehrere Benutzer wollen einen Delete Befehl zur gleichen Tabelle zur gleichen Zeit absetzen und deshalb kommt der Fehler?

Vielen Dank im Voraus für Hinweise oder Tipps. Ich weiß echt nicht mehr woran es liegt. Den am Passwort und Benutzer liegt es definitiv nicht. Denn ein Rechner der den fehlerhaften Login heute verursacht hat, war gestern ok.

Mmmm.

Danke im Voraus.
Sven

[taveuni]

Wie viele Datensätze sind in der Datenbank? Klar kann es Probleme geben wenn gleichzeitig 2000 Verbindungen ein DELETE WHERE Statement absetzen. Ich habe keine Ahnung wie in ADO die Defaulteinstellungen sind. Aber im MS SQL Server default wird die Tabelle während dem statement gelockt. Muss sie ja weil die Bedingung konsistent sein muss. Nun gibt es für das Kommando der Ausführung unter anderem einen Parameter für das LOCK_REQUEST_TIMEOUT. In den Devart Verbindungen ist dieses im constructor default auf 2000 ms gesetzt. Allerdings ist die ADO Fehlermeldung ja komplett anders lautend.

Edit: Ist ein Index auf dem "computername"?

[Perlsau]

Zitat:

Zitat von Piro (Beitrag 1323090)

Ich habe gelesen, dass ein Delete Statement eine Tabelle exklusiv öffnet.
Kann es sein, dass dies das Problem ist? Mehrere Benutzer wollen einen Delete Befehl zur gleichen Tabelle zur gleichen Zeit absetzen und deshalb kommt der Fehler?

Das kann durchaus sein. Vielleicht könntest du das gesamte Anmelde-Procedere irgendwie anders lösen:

Wieso muß ein neuer Eintrag angelegt werden, wenn der alte danach sowieso gelöscht wird? Würde es hier nicht auch ein einfaches Insert or Update tun? Also aktualisieren, wenn der Benutzer bereits im System, und einfügen, wenn er neu ist.

[jobo]

Zitat:

Zitat von Piro (Beitrag 1323090)

Ich habe gelesen, dass ein Delete Statement eine Tabelle exklusiv öffnet.

Das kommt auf die Datenbank an, MS SQL 2008 sollte es glaub ich besser können. Falls das überhaupt noch so ist, würde vermutlich höchstens noch blockweise gesperrt. Alles was im gleichen Block liegt, kann dann nur noch gelesen werden.

Dann ist es aber erstmal so:
Die Anwendung, die das Delete ausführt, wartet schlicht und ergreifend bis sie dran ist. Ist der Effekt massiv, weil der Server einfach nicht nachkommt, kann sie sich auch tot warten, wollen 2 Systeme den gleichen Datensatz löschen, kann ein Deadlock entstehen, beide warten auf den anderen.

Ich finde, die Fehlermeldung hat allerdings recht wenig mit diesem Löschvorgang zu tun. Möglich wäre, dass Du Anmeldung und Löschung so zusammencodiert hast, dass es irgendwie in einem geschieht. Arbeitest Du mit expliziten Transaktionen im Delphiclient? Oder verwendest Du SP auf der Datenbank, die ineinander greifen?*

Das könnte im Endeffekt zu diesem seltsamen Zusammenhang führen. Der Vorgang "Anmelden und Löschen" kann wegen Überlastung / Timeout des Servers nicht durchgeführt werden. Im Log erscheint dann nur der erste Fehler. Ist ja vermutlich ein Event Log des Servers und nicht von Dir bzw. Deiner Anwendung oder?

* oder Login Trigger?

[Piro]

Schönen guten Abend,

danke für die Antworten, welche meine Vermutung bestätigt.

Ich verwende in meiner Anwendung eine SQL anstatt einer Domän Autorisierung, weil ich nicht 2000 Benutzern Änderungsrechte geben möchte.

Für Insert/Update verwende ich TADODataSet und für das Löschen TADOCommand. Alles geschieht im Client. Keine SPs.

Meine Logik ist wie folgt.
1. Mit Hilfe von WMI und Registry ermittel ich die Daten des Computers, w.z.B. die Software oder die Drucker.
2. Danach baue ich in einer zentralen Funktion die SQL Verbindung auf und halte sie aktiv mit KeepAlive = True.
3. Die einfachen Computerdaten w.z.B. Computername oder Serialnummer werden dann mit einem Insert oder Update in die DB gebracht.
4. Die Daten für Software und Drucker liegen in separaten Tabellen und werden mittels Insert hinzugefügt.
5. Zum Schluss wird alles gelöscht, was keinen aktuellen Zeitstempel hat (jeder löscht nur seine Daten) ==> hier kommt es zu der erwähnten Fehlermeldung
6. SQL Verbindung wieder schließen, wenn alles erledigt ist.

Das heißt, ich habe eine aktive Verbindung und melde mich nicht erneut an. :-(
Diese Fehlemeldung ist echt zum Schreien, da sie so gar nicht passt. Macht ADO da vielleicht nicht die richtige Exception?

Meine TADOConnection Einstellungen:

Code:

TADOConnection - aktuelle Werte:
- CommandTimeout : 30
- ConnectOptions : coConnectUnspecified
- CursorLocation : clUseCLient
- IsolationLevel : ilCursorStability
- KeepConnection : True
- LoginPrompt     : False
- Mode            : cmReadWrite
- Provider        : SQLOLEDB.1

Wie kann ich denn meine Logik umbauen in Bezug auf die Tabellen mit den Zusatzinformation, wie Software, Memory, Storage oder Drucker? Ich muss doch irgendwie die alten Daten wieder löschen.

Gibt es eine Möglich, den Lock der Tabelle abzufragen und ggf. zu warten oder sollte das TADOCommand machen?
Muss ich den TimeOut von TADOCommand einfach erhöhen?

Ich werde noch irre. :wall:

Als wir nur knapp 800 Computer in unserer Anwendung hatte, gab es keine Probleme. Irgendwie muss ich das lösen. Derzeit kommen die wichtigsten Daten in Datenbank. Nur die Zusatzinformationen sind ggf. nicht genau.

Vielen Dank im Voraus.
Sven

[Sir Rufo]

Du stresst den Server schon ein wenig.

Beim Löschen muss der Server über zwei ungünstige Felder "char" und "date"/"char"? (sind die überhaupt in einem Index?).

Für die Computer könnte man auch eine eigene Tabelle erstellen die dann eine Id "int" hat und mit dieser Id referenziert man dann in den anderen Tabellen. Das alleine ist dann schon mal erheblich schneller. Wenn du jetzt noch einen Index darauf legst, dann sollte das nur einen Wimpernschlag dauern.

Code:

Computer
- Id int
- Name varchar
- ...

Computer_ClientFailure
- ComputerId int
- ...

Deine Verarbeitungsreihenfolge ist ungünstig:

• Viele Datensätze eintragen
• Viele alte Datensätze löschen

Wenn die alten Datensätze gelöscht werden sollen, warum löschst du diese dann nicht zuerst? Dann brauchst du auch keine Rücksicht auf den Zeitstempel nehmen. Einfach alles raus, was zu diesem Computer gehört.

Ja, ich höre den Einwand schon. Dafür nimmt eine Transaktion.

Delphi-Quellcode:

// Transaktion starten
Connection.StartTransaction;
try
  // alte Datensätze löschen
  ...
  // neue Datensätze eintragen
  ...
  // Transaktion abschliessen
  Connection.CommitTrans;
except
  // Transaktion zurückspulen
  Connection.RollbackTrans;
  raise;
end;

Jetzt sind entweder die aktuellen Datensätze enthalten oder es bleiben die alten in der Datenbank. Ein gemischtes Doppel ist aber ausgeschlossen.

Ausserdem beschleunigen solche Transaktionsblöcke die Verarbeitung nochmals ;)

[jobo]

Zitat:

Zitat von Piro (Beitrag 1323137)

Antworten, welche meine Vermutung bestätigt.

Was ist denn Deine Vermutung und wodurch siehst Du sie bestätigt?

Zitat:

Zitat von Piro (Beitrag 1323137)

Alles geschieht im Client. Keine SPs.

Verwendest Du lokale Transaktion? Verwendest Du unabsichtlich mehr als eine Connection?

Zitat:

Zitat von Piro (Beitrag 1323137)

Das heißt, ich habe eine aktive Verbindung und melde mich nicht erneut an.

Ok, wenn's wirklich so ist.

Zitat:

Zitat von Piro (Beitrag 1323137)

Meine Logik ist wie folgt.
.. snipp..
Wie kann ich denn meine Logik umbauen in Bezug auf die Tabellen mit den Zusatzinformation, wie Software, Memory, Storage oder Drucker? Ich muss doch irgendwie die alten Daten wieder löschen.

Dazu kann man so nicht viel sagen, kommt auf die Tabellenstruktur an. Paar Ideen
- Drucker, Softwaren und anderes existieren ja in limitierter Form, also vermutlich weniger Drucker als Rechner, viel weniger Software (Titel) als Rechner. Man könnte also nur Verweise auf bestehende Drucker und Software speichern, spart Platz, aber jenachdem nicht unbedingt Zeit, da die Verweise aufgebaut werden müssen
- Einfügen und später Löschen ist der schlechteste Weg (siehe auch Sir Rufo), lieber update, wo sich etwas wirklich(!) geändert hat, bei keiner Änderung nur Datum updaten (wie oft werden bei Euch Drucker und Software oder RAM neu gemacht je Rechner?!)

Zitat:

Zitat von Piro (Beitrag 1323137)

Gibt es eine Möglich, den Lock der Tabelle abzufragen und ggf. zu warten oder sollte das TADOCommand machen?
Muss ich den TimeOut von TADOCommand einfach erhöhen?

Bestimmt gibt's das, aber das solltest DU nur administrativ und nicht in der Anwendung machen! Du hast eh schon zu viel Last!
Nein, Du musst nicht den Timeout erhöhen, sondern die Arbeitsgeschwindigkeit des Systems. Dein Code muss schlanker werden.

Zitat:

Zitat von Piro (Beitrag 1323137)

Als wir nur knapp 800 Computer in unserer Anwendung hatte, gab es keine Probleme.

Jedenfalls Glückwunsch zu soviel neuen Kollegen ;)


Ich bin kein MS SQL Admin, versuch mal
[code]
select * from sys.sysprocesses where blocked > 0
[code]

Und ein Alternativvorschlag zum Zeit und Locks sparen:
Dein Programm baut unverbunden ein komplettes SQL Script zusammen, das alle Operationen am Stück durchführt. Einmal verbinden, abschicken und fertig, ohne explizite Transaktionen, nur Fehler loggen.

Andererseits, 2000 User / (Haupt)Datensätze sind eigentlich nicht viel. Ich meine zwar, dass MSSQL nicht unbedingt lässig mit vielen Verbindungen umging (großer Resourcenverbrauch). Mglw. ist aber auch Dein Datenmodell nicht optimal, Deine Abfragen ungeschickt...

[Piro]

Vielen Dank, vielen Dank für die Tipps.

Ich habe in der Computer Tabellen eine ID (Primary Key) und in den Zusatztabellen eine ID (Primary Key) und eine ComputerID, welche den Fremdschlüssel zur Computer Tabelle darstellt.
In der Client_Failure Tabelle gehe ich über den ComputerNamen, das es auch vorkommen kann, dass nur hier Einträge geschrieben werden zum Computer z.B. bei einem WMI Fehler.

Es fehlt nur der Index. Reicht der Primary Key nicht schon aus? Er ist doch auch in Index.

Ich werde definitiv, die Daten erst löschen und dann neu hinzufügen. Macht echt mehr Sinn. Danke Sir Rufo.

Kurz zur Information, um Missverständnisse zu vermeiden.
Meine Anwendung wird immer gestartet, wenn der Benutzer sich am Rechner anmeldet.
Dann werden die Daten des Rechners ermittelt und in die DB geschrieben.

Mein Datenmodel sieht wie folgt aus.
Es gibt eine Computer Tabelle, welche alle Hauptinformationen zu einem Rechner hält. Das Feld ID stellt den Primary Key dar.
Zusatzinformationen, wie installierte Software oder verbunden Drucker oder welche Netzlaufwerke verbunden sind, werden in separaten Tabellen gespeichert mit der ID der Computer Tabelle, um später die Referenz zu haben.
Sollte während der Ermittlung und der Datenübertragung ein Fehler auftreten, wird dieser in eine Fehlertabelle gespeichert. Hier wird aber nur der Computer Name als Referenz gespeichert.

Vielen Dank schon mal für die ganzen Idee. Ich hoffe, dass bringt was.
Sven

[Dejan Vu]

Zitat:

2. Danach baue ich in einer zentralen Funktion die SQL Verbindung auf und halte sie aktiv mit KeepAlive = True.

Wieso? Was bewirkt das? Ein reconnect? ;-) Wann? Etwa bei Punkt 5?

[Piro]

Dadurch brauche ich nur einmal die Verbindung aufbauen, dann mit TADODataSet die Daten in die DB (Insert/Update) und zum Schluss das Löschen mit dem TADOCommand.

[jobo]

Zitat:

Zitat von Piro (Beitrag 1323148)

Vielen Dank, vielen Dank für die Tipps.

Ich habe in der Computer Tabellen eine ID (Primary Key) und in den Zusatztabellen eine ID (Primary Key) und eine ComputerID, welche den Fremdschlüssel zur Computer Tabelle darstellt.
In der Client_Failure Tabelle gehe ich über den ComputerNamen, das es auch vorkommen kann, dass nur hier Einträge geschrieben werden zum Computer z.B. bei einem WMI Fehler.

Es fehlt nur der Index. Reicht der Primary Key nicht schon aus? Er ist doch auch in Index.

Begriffe:
Ein Primary Key ist ein Constraint, ebenso wie ein Foreign Key, also Primärschlüssel, Fremdschlüssel.
Indizes sind unabhängig davon, werden aber netter Weise von den Systemen mit erstellt, wenn ein Primärschlüssel angelegt wird. Beim Foreign Key ist das anders. Da musst Du selbst ran. FK und Index definieren. Das kann schon eine Menge bringen, je nachdem wie groß die Detailtabellen sind.

Btw: was bringt eigentlich dieses Verfahren?
Wieso löscht Du morgens nicht gleich alles? Was später noch nicht aktualisiert wurde, ist doch dann eh eine Leiche.

[p80286]

Zitat:

Zitat von jobo (Beitrag 1323155)

Btw: was bringt eigentlich dieses Verfahren?
Wieso löscht Du morgens nicht gleich alles? Was später noch nicht aktualisiert wurde, ist doch dann eh eine Leiche.

Nicht ganz, das ist der letzte bekannte Wissensstand. Aber wenn bei jedem Rechnerstart die Daten neu geschrieben werden, würde ich über einen Trigger löschen. Viel interessanter finde ich allerdings die Frage nach den Daten. Geht da jedes mal ein halber Roman über die Leitung oder werden vorhandene Daten wirklich genutzt? Was passiert wenn z.b. ein Rechner noch nicht im Bestand ist?

Gruß
K-H

[jobo]

Zitat:

Zitat von p80286 (Beitrag 1323163)

Zitat:

Zitat von jobo (Beitrag 1323155)

Btw: was bringt eigentlich dieses Verfahren?
Wieso löscht Du morgens nicht gleich alles? Was später noch nicht aktualisiert wurde, ist doch dann eh eine Leiche.

Nicht ganz, das ist der letzte bekannte Wissensstand. Aber wenn bei jedem Rechnerstart die Daten neu geschrieben werden, würde ich über einen Trigger löschen. Viel interessanter finde ich allerdings die Frage nach den Daten. Geht da jedes mal ein halber Roman über die Leitung oder werden vorhandene Daten wirklich genutzt? Was passiert wenn z.b. ein Rechner noch nicht im Bestand ist?

Anhand der Beschreibung habe ich nicht den Eindruck, das hier mit Bestandsdaten gearbeitet wird. Es scheint sich eher um so eine Art Log zu handeln. Daher ja auch meine Frage, wie oft sich das überhaupt ändert. Bei 2000 Usern gibt wahrscheinlich nur eine 2stellige Zahl von Druckern, pro User/Rechner sind dann vielleicht 1-3 eingerichtet, meinetwegen auch 10. Könnte man alles abbilden.

Wenn die Detaildaten umfangreich sind, könnte man die Analysedaten auch lokal ablegen und die tägliche Neuabfrage mit den Daten vom Vortag vergleichen. Erst bei Differenzen den Server überhaupt kontaktieren und updaten.
Falls ständig massiv gelöscht und eingefügt wird, können auch regelmäßige Index- / Tabellenrestrukturierungen hilfreich sein für den Anbfragespeed.

[Perlsau]

Mir ist die Notwendigkeit des zahlreichen Löschens ganzer Datensätze noch immer nicht so recht klargeworden. Gehen wir mal davon aus, PC_2145 meldet sich an. Dann findet der Server den gesuchten Datensatz und aktualisiert das Daum, wenn sonst keine Änderungen an diesem PC zu vermelden sind. Das heißt, der PC_2145 holt sich seinen Datensatz, überprüft, ob noch alles aktuell ist und sendet die aktualisierten Daten – gegebenenfalls nur das Datum mit Zeitangabe – an den Server zurück.

Haupttabelle

Id_Computer	Computername	Datum
1	PC_2145	01.12.2012 09:26:00
2	PC_3841	01.12.2012 09:26:01
3	PC_1678	01.12.2012 09:26:03
4	PC_4644	01.12.2012 09:26:07

Hardwaretabelle

Id_Hardware	Hardwarename
1	Drucker xy
2	Scanner Soundso
3	USB-Platte Rasant 1374
4	Cardreader Tx4711

Softwaretabelle

Id_Software	Softwarename
1	Software 01
2	Software 02
3	Software 03
4	Software 04

Relation-Tabelle Hardware

Id_Computer	Id_Hardware
1	2
1	4
2	1
2	2
2	3
3	4
2	1
4	2
4	3

Relation-Tabelle Software

Id_Computer	Id_Software
1	1
2	3
2	4
3	2
4	2
4	3

Da muß ich doch nicht jedesmal was löschen, außer ein User hat sich von einer Hard- oder Software getrennt. Ansonsten muß nur das Anmelde-Datum aktualisiert werden. Wenn es z.b. um Kontrolle der Arbeitszeit geht, kann man das dann ebenfalls in einer Relation-Tabelle dauerhaft z.B. für ein Jahr speichern, so daß man alle An- und Abmeldezeiten aller Angestellten auflisten kann.

[p80286]

Zitat:

Zitat von jobo (Beitrag 1323168)

Es scheint sich eher um so eine Art Log zu handeln.

Die typische DB-Anwendung:stupid:

Zitat:

Zitat von jobo (Beitrag 1323168)

Wenn die Detaildaten umfangreich sind, könnte man die Analysedaten auch lokal ablegen und die tägliche Neuabfrage mit den Daten vom Vortag vergleichen. Erst bei Differenzen den Server überhaupt kontaktieren und updaten.

:thumb: die Idee gefällt

Gruß
K-H

[jobo]

Ich hab aber den Eindruck, dass da was anderes schief läuft. TADODataset auf komplette Detailtabellen oder update / delete where Clause ohne Index Wirksamkeit ergäbe (10)tausende Fullscans, Cursors auf dem Server, immer morgens pünktlich um 9, will ja keine schlecht da stehen, dann erstmal Kaffee holen usw. :)

[Piro]

Moin zusammen,

Sorry für das späte Antworten.

Eins vorab, ihr seid echt Klasse. Durch eure ganzen Beiträge habe ich viele Ideen, wie ich meine Anwendung optimieren kann.
Die Logik der Ermittlung und des Speichern in die DB habe ich mir vor knapp 8 Jahren ausgedacht und immer nur ein bißchen verbessert. Nie habe ich mich gefragt, ob es nicht besser geht. Mit euren Beiträgen weiß ich es jetzt besser.
Die Idee mit dem Abfragen der Daten in der DB bzw. Lokal was speichern und schauen, ob sich was geändert hat, ist eine bessere Idee.
Mein derzeitiger Ansatz ist, dass ich die Daten ermittle und einfach alles in die DB speichere. Dies ist halt weniger Aufwand aber auch Traffik im Netz. Ehrlich gesagt, ist der so gering, dass man ruhig alles senden kann. Deshalb das Löschen.

Ich habe meinen Fehler gefunden und es ist schon etwas peinlich ihn zu erzählen. Die Ermittlung und Speicherung dauert normalerweise weniger als 1Minute. Es kommt aber vor das dievAnwendung hängen bleibt. Deshalb starte ich einen Timer von 5Minuten, welcher die Anwemdung beendet.
Nun kam es aber vor bei den knapp 2000 Anmeldungen, dass einige mehr als 5Minuten brauchten und durch das Terminate des Timer Threads hat er wahrscheinlich dievVariablen und Co. geleert und deshalb dann der Login Fehler.
Was für ein Fehler.

Vielen Dank an alle für die zahlreichen und großartigen Beiträgen bzw. Ideen.

MfG
Sven

P.S. Ich kein anderes Forum, wo solche Arbeit und Hilfestellungen gegeben werden wie. Danke und bitte weiter so.