Ich kann nur mkinzler zustimmen. 1 Mio. Datensätze wird sich niemand anschauen.
Zu deinem Problem. Falls du eine ältere Delphi-Version hast würde ich mal FastMM einbinden, da der alte MemoryManager gerne unter Speicherfragmentierung leitet (Falls es nicht die 2GB-Grenze von 32-Bit-Prozessen erreicht wird). Ansonsten gibt es die möglichkeit mittels virtuellen Modus z.B. TListView zu nehmen (Virtual Listview-Beispiel von Delphi) oder TElTreeView (Elpack) oder Virtual
TreeView zu verwenden.