EOutOfResources erzeugt Speicherleck

[Schorschi5566]

Hallo DP,

ich programmiere gerade ein Multithreading-Projekt, das sehr große JPGs herunterskaliert und erneut speichert.

Dazu werden bis zu 30 Threads verwendet, die mittlerweile keinerlei Speicher- oder Handle-Leaks mehr verursachen.

Trotzdem kommt es natürlich öfter mal zu EOutOfResources, was auch nicht weiter tragisch ist, da sich dann einige Threads einfach selbst killen und sobald es die Speichersituation wieder zulässt, erneut starten. Das funktioniert bestens soweit.

Einziges Manko ist eigentlich, dass die Exception EOutOfResources selbst ein Memoryleak verursacht, welches ich gerne beheben würde. (siehe Screenshot)

Hat jemand einen Tipp, was man da im Fehlerfall freigeben muss oder ist das ein Bug in Delphi?


Grüße,
Uwe

[Luckie]

ich programmiere nun schon einige Jahre, aber diese Exception hatte ich noch nie. Ich bin mir ziemlich sicher, dass du irgendwo Ressouren nicht wieder frei gibst.

[Schorschi5566]

Wenn 30 Threads versuchen jeweils eine Grafik mit 5000x5000 Punkten in den Speicher zu laden, bekommt man die Meldung recht schnell.

Ich programmiere auch schon einige Jahre und glaube mir, die Routine verliert keine Resourcen.

Am Skalierungsprozess ist allerdings die Library Graphics32 beteiligt, die auch die Exception wirft. Eventuell allokiert ja dort etwas Sachen, die Delphi dann am Schluß anmeckert.

Aber warum schreibt Delphi dann was von x Mal EOutOfResources?

[Luckie]

Wie wäre es die Anzahl der Threads zu reduzieren?

[Schorschi5566]

Das passiert schon. Sobald eine EOutOfResources auftritt, beendet sich der entsprechende Thread und macht Luft für die anderen.

Allerdings schwankt das Datenaufkommen und deshalb sollen die Threads wieder erhöht werden, wenn es möglich ist. Nach einer gewissen Zeit werden die Threads also wieder nach und nach gestartet. Bis es wieder knallt.

Funktioniert, wie gesagt ausgezeichnet, mal von dem kleinen Speicherleck abgesehen.

Am Schluss eines Laufs, gibt das Programm eine Empfehlung, wie viele Threads man künftig verwenden sollte aber das behebt das Problem ja nun nicht wirklich.

Du meinst also, dass die Exception an sich keinen Speicher verschludert. Kann natürlich sein, dass TBitmap32.Draw die Exception zu spät wirft und nicht alles freigibt, was bis dahin passiert ist. Werde ich mal erforschen.

Danke schon mal.

[himitsu]

Wenn du schnell was umrechnen willst, dann bringt es sowieso nix, wenn du meh Threads rechnen läßt, als als Recheneinheiten (CPUs/Kerne) vorhanden sind.

PS: 5000x5000 umzurechnen belegt pro Bild schnell mal über 100 MB, da bestimmt über ein Bitmap gerechnet wird, was bei 30 Threads/Bildern wohl etwas viel werden kann.

PSS: Eine Leckprüfung im delphieigenem Speichermanager findet nur Lecks in diesem Teil ... es gibt aber auch noch andere Speichermager und unzählige Handles, welche da nicht mit beachtet werden.

[Schorschi5566]

In diesem Fall bringen 30 gegenüber 10 Threads einen deutlichen Vorteil. Mit den Benchmarks bin ich schon durch.

[himitsu]

Zitat von Schorschi5566:

In diesem Fall bringen 30 gegenüber 10 Threads einen deutlichen Vorteil. Mit den Benchmarks bin ich schon durch.

Dann ist wohl deine Umrechnung der Bilder nicht sonderlich gut.

[Schorschi5566]

Was hat das mit der Qualität des Downscalingfilters zu tun? (Ist der Lanczos-Filter aus Graphics32. BTW: Hervorragende Qualität)

Das Problem ist doch am Rande des Resourcenlimits zu arbeiten. Wenn ich vor dem Schritt, der die Exception verursacht, wüsste wie viel Speicher benötigt wird, könnte ich es ja abfangen und den Thread schon vorher abknipsen. Das weiß ich aber nicht und genau dazu ist Exceptionhandling doch da, oder?

P.S.: Das Teil verursacht wirklich keine Lecks mehr (mal von dem ganz kleinen abgesehen). Getestet über mehrere Stunden anhand von Taskmanager und Process Explorer. Die Handles nehmen nicht zu und der Speicherverbrauch steigt auch nicht an. Im Moment habe ich allerdings Probleme in Graphics32 die entsprechenden Stellen im Source zu finden, die für das Minileck verantwortlich sein könnten.

[littleDave]

Die Exception EOutOfResources ist eine besondere Exception, da sie von der EOutOfMemory - Exception abgeleitet wird. Erstell mal ein Test-Projekt, binde FastMM ein und auf die Form1 klatscht du ein Button drauf. Im Click-Handler schreibst du folgendes:

Delphi-Quellcode:

procedure TForm1.Button1Click(Sender: TObject);
begin
  raise EOutOfResources.Create('bla bla blub');
end;

Dann starte das Testprogramm, klick den Button und beende das Programm: und siehe da: EOutOfResources wird nicht freigegeben. Wenn du jetzt irgend eine andere beliebige Exception (außer EOutOfMemory) benutzt, wird diese korrekt freigegeben.

Exceptions, die von EOutOfMemory abgeleitet sind, dürfen also nicht so geworfen werden. Für die EOutOfMemory gibt es in der SysUtils-Unit die Funktion OutOfMemoryError , ob es das für EOutOfResources auch gibt, weiß ich nicht.

Die Ausnahme ist sehr sinnvoll: wenn kein Speicherplatz mehr vorhanden ist, soll ja diese Exception geworfen werden. Blöd wäre jetzt nur, wenn für die Exception auch kein Speicher mehr vorhanden wäre. Daher wird eine Instanz der Exception global beim Start angelegt und diese Instanz wird einfach immer wieder neu geworfen.

[Ergänzung]
Mal ein Auszug aus der Delphi-Hilfe für EHeapException:

Zitat:

Die von EHeapException abgeleiteten Klassen EOutOfMemory und EInvalidPointer werden dazu verwendet, fehlgeschlagene Zuweisungen von dynamischem Speicher und ungültige Zeigeroperationen abzufangen.

Hinweis: Speicher für diese Exceptions wird im Voraus zugewiesen, sobald eine Anwendung startet. Die Zuweisung bleibt bestehen, solange die Anwendung läuft. EHeapException oder Nachkommen davon dürfen niemals direkt ausgelöst werden.