Speicherleck mit SqlDB (und Indy-TCP-Server) bei Datenbankabfrage

[Benedikt Magnus]

Erstmal hallo zusammen,

normalerweise durchforste ich, wenn ich beim Programmieren nicht weiterkomme, solange die Delphipraxis, Google etc., bis ich das Problem gelöst habe. Daher ist dies seit fast vier Jahren, da ich einen Account habe, auch meine erste Frage. Seit Tagen schlage ich mich damit rum und komme einfach nicht weiter!

Das sind die Gegebenheiten:

Ich programmiere unter Lazarus (genau Typhon) für Linux x64 einen Spielserver für ein Spiel, das ich vor einiger Zeit programmiert habe. Dieser Server nutzt den TCP-Server der Indykomponenten. Die Klienten (IdTCPClient) verbinden sich nun mit diesem Server, der daraufhin für jede Verbindung eine Datenbankverbindung per SqlDB zu meiner MySQL-Datenbank auf demselben Hostsystem anlegt. Dies geschieht über drei Komponenten (TMySQL55Connection, TSQLTransaction, TSQLQuery), die erstellt und in einem Record zusammengefasst werden (Firstem ist der Name des Spiels):

Delphi-Quellcode:

type
  PFiRe = ^TFirstemRecord;
  TFirstemRecord = record
    Name: String;
    Spiel: String;
    Angemeldet: Boolean;
    Verbindung: TMySQL55Connection;
    Anfrage: TSQLQuery;
    Transaktion: TSQLTransaction;
    Context: TIdContext;
  end;

Der Zeiger auf dieses Record wird im Tag der Verbindung zum Client gespeichert. Das Ganze sieht dann so aus:

Delphi-Quellcode:

procedure TFirstemServer.TCPServerConnect(AContext: TIdContext);
var
  A: PFiRe;
begin
  //Anmkerkung an die Delphipraxis: Die Verbindung zwischen Client und Server findet per SSL(IdServerIOHandlerSSLOpenSSL) verschlüsselt statt.
  if (AContext.Connection.IOHandler is TIdSSLIOHandlerSocketBase) then
    TIdSSLIOHandlerSocketBase(AContext.Connection.IOHandler).PassThrough := false;

  Writeln('Klient verbunden: ' + AContext.Binding.PeerIP + ':' + IntToStr(AContext.Binding.PeerPort));

  AContext.Connection.Tag := Int64(New(PFiRe));
  A := PFiRe(AContext.Connection.Tag);
  A^.Context := AContext;
  A^.Angemeldet := false;

  //MySQL-Verbindungskomponente erzeugen:
  A^.Verbindung := TMySQL55Connection.Create(nil);

  with A^.Verbindung do
  begin
    HostName := SQL_Adresse;
    DatabaseName := SQL_Datenbankname;
    UserName := SQL_Nutzername;
    Password := SQL_Nutzerpasswort;
    CharSet := 'UTF8';
  end;

  //SQL-Transaktionskomponente erzeugen:
  A^.Transaktion := TSQLTransaction.Create(nil);

  //SQL-Querykomponente erzeugen:
  A^.Anfrage := TSQLQuery.Create(nil);
  
  A^.Anfrage.UniDirectional := true; //Soll angeblich ein Speicherleck in Bezug auf das Caching verhindern -> Pustekuchen.

  //Zuweisungen:
  A^.Verbindung.Transaction := A^.Transaktion;
  A^.Transaktion.DataBase := A^.Verbindung;
  A^.Anfrage.DataBase := A^.Verbindung;
  A^.Anfrage.Transaction := A^.Transaktion;
end;

Nun zu meinem eigentlichen Problem:

Wenn ein Klient sich verbindet und die Verbindung kurz darauf wieder trennt, ohne eine Aktion ausgeführt zu haben, führt dies zu keinerlei Speicherlecks. Wenn er aber dann z.B. eine Anmeldung durchführt, woraufhin der Server die Zugangsdaten aus der MySQL-Datenbank überprüft, erzeugt dies merkwürdige Speicherlecks (die ich gleich näher erläutern werde). Hier der Quelltext, bei dem das Speicherleck erzeugt wird:

Delphi-Quellcode:

with A^.Anfrage do
begin
  SQL.Text := 'SELECT passwort FROM nutzer WHERE name = :NAME';
  Params.ParamByName('NAME').AsString := Nutzername;
  Open;
  Kennwort_db := FieldByName('passwort').AsString;
  Close;
end;

Lasse ich dieses Stück draußen, entstehen ebenfalls keine Speicherlecks. Und ich verstehe nicht warum.

Nun um das Ganze noch verrückter zu machen:
Die Speicherlecks werte ich mithilfe der Heaptrc-Unit von Lazarus aus und erhalte folgendes Ergebnis:

Code:

Call trace for block [Wechselnde Adresse] size [immer um die 30]
  [$48153B] line 185 of source/IdContext.pas
  [$4F53C1] line 136 of source/IdTask.pas
  [$4DEC7D] line 697 of source/IdThread.pas
  [$4DDFCF] line 428 of source/IdThread.pas

Und das Ganze 23 mal. Manchmal steht die letzte Zeile doppelt dort. Indyversion ist 10.6.2.20.
Die Zeilen führen alle letztlich zu einer abstrakten Run-Methode und einem Boolean.
Warum löst eine SQL-Verbindung Speicherlecks in Indy aus?


Ich hoffe, ihr könnt mir helfen.

Benedikt

[hoika]

Hallo,
Indy hat ein paar mem leaks, wo sich keiner rantraut,
weil es zu kompliziert ist.
Die sind aber statisch (einige globale Variablen, die einmal erzeugt und danach nicht freigegeben werden), nicht 23*x oder sowas .

Delphi-Quellcode:

AContext.Connection.Tag := Int64(New(PFiRe));

A^.Transaktion := TSQLTransaction.Create(nil);
A^.Anfrage := TSQLQuery.Create(nil);

Wo erfolgt denn die Freigabe dieser Klassen?

Fehlendes Close (Zur Sicherheit);

Delphi-Quellcode:

with A^.Anfrage do
begin
  Close;
  SQL.Text := 'SELECT passwort FROM nutzer WHERE name = :NAME';

Ich habe nicht die gleiche Version, bei mir ist das aber alles Code des Exception-Handlings bei deiner Zeilen-Angabe.


Heiko

[p80286]

Zitat von Benedikt Magnus:

Delphi-Quellcode:

with A^.Anfrage do
begin
  SQL.Text := 'SELECT passwort FROM nutzer WHERE name = :NAME';
  Params.ParamByName('NAME').AsString := Nutzername;
  Open;
  Kennwort_db := FieldByName('passwort').AsString;
  Close;
end;

Solchen Konstrukten traue nicht über den Weg

Delphi-Quellcode:

Kennwort_db := ' - undefined -';
begin
  A^.Anfrage.SQL.Text := 'SELECT passwort FROM nutzer WHERE name = :NAME';
  A^.Anfrage.Params.ParamByName('NAME').AsString := Nutzername;
  A^.Anfrage.Open;
  if not A^.Anfrage.EOF then
    Kennwort_db := FieldByName('passwort').AsString;
  A^.Anfrage.Close;
end;

versuch es mal so.

Gruß
K-H

[Benedikt Magnus]

Vielen Dank für eure Antworten!

Zitat von hoika:

Indy hat ein paar mem leaks, wo sich keiner rantraut,
weil es zu kompliziert ist.
Die sind aber statisch (einige globale Variablen, die einmal erzeugt und danach nicht freigegeben werden), nicht 23*x oder sowas .

Ich weiß. Die sind auch schon herausgefiltert und können hiermit, da hast du Recht, nichts zu tun haben.

Zitat von hoika:

Delphi-Quellcode:

AContext.Connection.Tag := Int64(New(PFiRe));

A^.Transaktion := TSQLTransaction.Create(nil);
A^.Anfrage := TSQLQuery.Create(nil);

Wo erfolgt denn die Freigabe dieser Klassen?

Die erfolgt im Disconnectereignis des TCP-Servers folgendermaßen:

Delphi-Quellcode:

procedure TFirstemServer.TCPServerDisconnect(AContext: TIdContext);
var
  A: PFiRe;
begin
  WriteLn('Klient getrennt: ' + AContext.Binding.PeerIP + ':' + IntToStr(AContext.Binding.PeerPort));

  A := PFiRe(AContext.Connection.Tag);

  with A^ do
  begin
    Anfrage.Free;
    Transaktion.Free;
    Verbindung.Free;
  end;

  Dispose(A);
end;

Funktioniert auch. Da werden keine Speicherlecks gemeldet.

Zitat von hoika:

Fehlendes Close (Zur Sicherheit);

Delphi-Quellcode:

with A^.Anfrage do
begin
  Close;
  SQL.Text := 'SELECT passwort FROM nutzer WHERE name = :NAME';

Habe ich ausprobiert. Ändert aber leider nichts.

Zitat von p80286:

Solchen Konstrukten traue nicht über den Weg
markieren

Delphi-Quellcode:

Kennwort_db := ' - undefined -';
begin
  A^.Anfrage.SQL.Text := 'SELECT passwort FROM nutzer WHERE name = :NAME';
  A^.Anfrage.Params.ParamByName('NAME').AsString := Nutzername;
  A^.Anfrage.Open;
  if not A^.Anfrage.EOF then
    Kennwort_db := FieldByName('passwort').AsString;
  A^.Anfrage.Close;
end;

versuch es mal so.

Auch das hat leider nichts geändert (auch wenn es so schön vielversprechend aussah...). Ich bekomme die gleichen Speicherleckmeldungen...

[hoika]

Hallo,
sind das die einzigen Lecks?
Ist das FastMM4 oder was sonst?

Warum arbeitest du nicht einfach mit Objekten statt Records?
Den Pointer des Objektes kannst du auch in das Tag packen.

Was passiert beim Connect (Zugriff auf User-DB) noch?
Verschweigst du uns etwa Code ? :=)


Heiko

[Benedikt Magnus]

Ja, das sind die einzigen Lecks.
Das ist Heaptrc-Unit von Lazarus.

Ich fand Records einfacher als Objekte. Solange ich keine Methoden benötige, verwende ich für gewöhnlich immer Records. Hier wäre ein Objekt vermutlich eleganter aufgrund der Initialisierung, aber ist halt Gewöhnungssache...
Das Problem hängt aber auch vermutlich nicht damit zusammen, da ohne Abrufen von Daten aus der Datenbank alles glatt läuft. Der Sicherheit halber werde ich gleich aber mal eine Klasse bauen (und wenn sie mir gefällt, behalte ich sie ).

Nein, nein, ich verschweige keinen Code.
Die entsprechende Stelle habe ich vollständig und ohne Änderung hier angegeben. Willst du denn noch einen anderen Teil sehen? Ich wüsste jetzt nicht, was noch relevant sein könnte...

[hoika]

Hallo,
kannst auf nicht-SSL umstellen?
Wie sieht das dann auch?


Heiko

[Jasocul]

Zitat von Benedikt Magnus:

Delphi-Quellcode:

  //Zuweisungen:
  A^.Verbindung.Transaction := A^.Transaktion;
  A^.Transaktion.DataBase := A^.Verbindung;
  A^.Anfrage.DataBase := A^.Verbindung;
  A^.Anfrage.Transaction := A^.Transaktion;
end;

Das kommt mir verdächtig vor.
Ich habe noch nicht mit mySQL in der Form gearbeitet, aber schon mit anderen Datenbanken.
Dort kenne ich es eigentlich so, dass NUR der Connection die Transaktion zugewiesen wird. Alle weiteren Elemente, die mit dieser Verbindung arbeiten, verwenden dann automatisch diese Transaction.
Möglicherweise kommt dort etwas durcheinander.
Ohne jetzt in die Tiefe zu gehen (also ungeprüft), sollte dies doch ausreichen:

Delphi-Quellcode:

  A^.Verbindung.Transaction := A^.Transaktion;
  A^.Anfrage.DataBase := A^.Verbindung;