Optimierung Code / Alternative zu Stringlist? (Delphi 5)

[frieder2008]

Liebe Leute,

ich habe eine Liste mit mehr als 7 Mio Einträgen (Strings/einzelne Wörter), die ich gerne gruppieren und zählen würde.

Derzeit habe ich das mit einer Stringlist realisiert:

Delphi-Quellcode:

Procedure GruppiereZaehleListe(Quellliste, Ziellist: tstringlist);
var
  i: integer;
  CurIndex: integer;
begin

  for i:= 0 to Quellliste.count-1 do
    begin
      CurIndex := Ziellist.IndexOf(Quellliste[i]);
      if CurIndex >= 0 then
        Ziellist.Objects[CurIndex] := TObject(Succ(Integer(Ziellist.Objects[CurIndex])))
      else
        Ziellist.AddObject(Quellliste[i], TObject(1));
    end;
end;

Mein Problem: Das ist VIEL zu langsam. Gibt es irgendeine Möglichkeit, den Code zu optimieren oder eine Alternative zu TStringlist, die einfach schneller arbeitet?

- Habe nur D5 zur Verfügung (ich weiß, alt).

Danke und beste Grüße,
frieder

[Bernhard Geyer]

BTree oder HashMap dürften viel schneller sein.

TStringList wird auch schneller wenn sie sortiert ist.

[Luckie]

Eventuell sollte man sich auch über die 7 Mio Einträge Gedanken machen.

[frieder2008]

Zitat von Bernhard Geyer:

BTree oder HashMap dürften viel schneller sein.

TStringList wird auch schneller wenn sie sortiert ist.

Danke für das Feedback. Sortierung hat in der Tat schon mal was gebracht, aber immer noch zu langsam. Die Sache mit den Hash-Maps verstehe ich nicht ganz. Wie funktioniert das Prinzip bzw. wie kann ich das auf mein Problem übertragen?

- Die 7 Mio Einträge resultieren aus einem großen Textkorpus mit ~11000 Texten, tokenisiert. Da kann ich schlecht einen Teil 'auslagern'

Danke und Gruß,
frieder

[mkinzler]

Ein HashMap ist ein Art Index der auf HashWerten der Daten basiert

[p80286]

zum einen würde ich Dir für das Suchen die Binäre Suche empfehlen, zum anderen, wenn ich das richtig gesehen habe, dann fügst Du nicht vorhandene Datensätze ein, wie wäre es dann mit:

Delphi-Quellcode:

zielliste.Sorted:=true;
zielliste.Duplicates:=Dupignore;
{not found}
zielliste.add(quellliste[i]);

Gruß
K-H

[ele]

Es gibt da auch noch die THashedStringList, aber ich weiss nicht ab welcher Delphi-Version.

[frieder2008]

Zitat von p80286:

zum einen würde ich Dir für das Suchen die Binäre Suche empfehlen, zum anderen, wenn ich das richtig gesehen habe, dann fügst Du nicht vorhandene Datensätze ein, wie wäre es dann mit:

Delphi-Quellcode:

zielliste.Sorted:=true;
zielliste.Duplicates:=Dupignore;
{not found}
zielliste.add(quellliste[i]);

Gruß
K-H

Wenn ich richtig verstehe, fallen die Duplikate für die Zählung dann aber raus. - Das wäre kontraproduktiv.. Oder hab ich was falsch verstanden?

Gruß, frieder

[frieder2008]

Zitat von ele:

Es gibt da auch noch die THashedStringList, aber ich weiss nicht ab welcher Delphi-Version.

Das wäre es wohl! In D5 gibts das leider nicht. Hat jemand das dazugehörige Script (im Netz find ich jetzt spontan nichts, nur Hinweise, dass es das geben soll)?

Danke und Gruß,
frieder

[p80286]

Zitat von frieder2008:

Wenn ich richtig verstehe, fallen die Duplikate für die Zählung dann aber raus. - Das wäre kontraproduktiv.. Oder hab ich was falsch verstanden?

Nicht Du, ich
(man könnte vllt. dupError nutzen und dann in der Exceptionbehandlung zählen..??)
[bitte nicht schlagen!]
Gruß
K-H