Aber ich würde ganz gerne verstehen, warum der Speicher nicht sauber aufgeräumt wird
Solange Du den Code nicht gelesen und das Leak gefunden hast, ist kein Urteil in Sachen "sauber" mMn unangebracht.
Wie oben schon geschrieben wurde: unter Umständen cached die Button-Klasse (nicht das Objekt) etwas, und wenn dieser Cache dann neu geöffnete weitere Fenster sich ein paar Millisekunden schneller öffnen lässt, ist das unter Umständen mehr wert als 3 KB Arbeitsspeicher.
Ich verwende in Debug-Versionen immer heaptrc (FreePascal), das loggt bei mir Beenden alle Memory Leaks. Etwas ähnliches gibt es doch auch in Delphi. Im Zweifel würde Dir das wohl auch ausspucken, in welcher Datei und welcher Zeile dieser Cache aufgebaut wird (wenn er nicht bei Programmende ordentlich zerstört wird).