Optimierung Code / Alternative zu Stringlist? (Delphi 5)

[RaSoWa1]

Bei langen Stringlisten verwende ich zum Suchen nicht "IndexOf".
Folgender Code ist bei mir viel schneller (warum auch immer?):

Delphi-Quellcode:

function InLst(lst: TStrings; s: String): Integer;
var   i : Integer;
begin
  result := -1;
  for i := 0 to lst.Count - 1 do
    if lst[i] = s then
    begin
      result := i;
      Break;
    end
end;

Gruß
Klaus

[ele]

Das liegt vermutlich daran, dass bei Nachfahren von TStrings die virtuelle Methode CompareStrings aufgerufen wird, das ist etwas langsamer als ein direkter Stringvergleich...

Delphi-Quellcode:

function TStrings.IndexOf(const S: string): Integer;
begin
  for Result := 0 to GetCount - 1 do
    if CompareStrings(Get(Result), S) = 0 then Exit;
  Result := -1;
end;

[BUG]

Nur so ne Überlegung...

Gibt es eine Chance alle verschieden Tokens einfach durchgehend zu nummerieren?

Zumindest die Vergleiche könnten schneller werden, wenn man nur noch die Indices vergleicht und vielleicht wird nebenbei auch der Speicherverbrauch kleiner (je nachdem wie viele Strings doppelt vorkommen).

[jobo]

Willst Du die Stringlist nur als Vehikel für deine Operationen oder soll die im Rahmen einer Anwendung irgendwelche GUI Elemente füttern?
Im ersten Fall wär doch vielleicht eine einfache DB angesagt oder?

[frieder2008]

Zitat von jobo:

Willst Du die Stringlist nur als Vehikel für deine Operationen oder soll die im Rahmen einer Anwendung irgendwelche GUI Elemente füttern?
Im ersten Fall wär doch vielleicht eine einfache DB angesagt oder?

Also ich habe zuerst sehr lange Wortlisten, die ich dann zusammenfassen möchte (Wort1=3, Wort2=1200,...). KA, ob da eine DB für ausreichen würde..hm.

Zitat von BUG:

Gibt es eine Chance alle verschieden Tokens einfach durchgehend zu nummerieren?

Das ginge im Prinzip schon, aber macht eig keinen Sinn. Denn ich müsste ja gleichen Tokens gleiche Nummern/Indizes vergeben, wofür ich jeweils doch wieder danach suchen muss, oder?

Du meinst doch:

1 das
2 ist
3 ein
4 Wort
1 das
3 ein
4 Wort
5 ist
6 .

-> 1=2, 2=2, 3=2 usw.
-> das=2, ist=2 usw.

Ich könnte mir nur vorstellen, dass das schneller ginge, wenn ich die Zahlenreihen eben NICHT als Stringlist speichert. Wäre das dann ein Array of integer? (habe bisher nie mit Arrays gearbeitet)

=> Wäre das auch das Prinzip von "HashMaps"?

Danke und Gruß,
frieder

[BUG]

Zitat von frieder2008:

=> Wäre das auch das Prinzip von "HashMaps"?

Nicht ganz, aber stimmt, es geht in die Richtung

Vermutlich ist eine gute fertige Lösung (à la Hashmap oder DB) besser als wenn man sich selbst irgendwas zusammenbastelt.

[frieder2008]

Zitat von BUG:

Zitat von frieder2008:

=> Wäre das auch das Prinzip von "HashMaps"?

Nicht ganz, aber stimmt, es geht in die Richtung

Vermutlich ist eine gute fertige Lösung (à la Hashmap oder DB) besser als wenn man sich selbst irgendwas zusammenbastelt.

Moin zusammen,

ja, das denke ich auch. Mein Problem ist, dass ich nirgends Infos zu einer 'fertigen' Hashmap finde! Hat niemand einen Tipp oder kann mir ein Codebsp schicken?

Wenn ich das Konzept von Hashmaps richtig verstehe, dann müsste es doch so gehen:

- 'Übersetzen' der Strings in Zahlen: z.B. einzelne Buchstaben in Zahlen: "aha" => 181 o.ä.; gibt es da zufällig schon einen guten Algor., der das schnell macht?

Und nochmal eine Nachfrage zu den Arrays of Integer: ich verstehe nicht ganz, wie ich die bei Laufzeit entsprechend nutzen kann. Denn ich müsste - damit es schnell läuft - als Index des Arrays den 'Stringcode' (z.B. 181) dann setzen können, wenn es eben zum ersten mal auftaucht - und nicht 'in Reihe' (12345..). Das ginge doch nur, wenn ich das Array dann vorsorglich auf x Mio dimensionieren würde, oder? Da würde dann aber wohl übel viel Speicher belegt..

Delphi-Quellcode:

var
  myarray: array of integer;
  i: integer;
  Wortliste: tstringlist;
  wortcode: integer;
begin
  {Wortliste laden}

  setlength(myarray, 100000000000);
  for i:= 0 to Wortliste.count-1 do
    begin
      Wortcode:= {Wort aus Wortliste[i] in Wortcode übersetzen}
      myarray[Wortcode]:= succ(myarray[Wortcode]);
    end;
  
  {Rückübersetzen der Wortcodes in Wörter und Ausgabe}
  setlength(myarray, 0);

- Aua, fällt mir gerade auf, dass ich anschließend ja im Grunde das komplette Array durchlaufen müsste, um diejenigen Wörter wieder zu holen, die es dann auch 'tatsächlich' gibt.. hm.. Besser wäre dann wohl eine Lösung a la Wortcode=f in einer Stringlist, oder?

Sorry, wenn ich soviel nachfrage, aber das Problem beschäftigt mich schon seit langem und ich muss es endlich mal ein für alle mal lösen! Mit Eurer Hilfe

Danke und viele Grüße,
frieder

[jobo]

Ich denke, das ist keine Frage, ob eine DB reicht. Sie kann potentiell das, was Du brauchst.
Du "kippst" alle Daten rein und kannst anschließend nach Lust und Laune sortieren, gruppieren, zählen.
Das kannst Du auch gleich mit dem Vorschlag von Bug kombinieren, die Wörter zu nummerieren.

[jobo]

Je nach Verwendung brauchst Du ein oder 2 Tabellen (Mir ist nicht genau klar, was Du brauchst)
Denkbar wäre, auch noch die Textherkunft des Wortes zu verwalten.

Code:

create table NurDieWorte (
NDW_ID number(9) [AutoSequence],      -- Primärschlüssel
NDW_Wort varchar(50)                  -- unique constraint
)

create table WortVorkommen(
WVk_Id number(9) [AutoSequence],      -- Order of Appearance, falls nötig
NDW_ID number(9)                      -- Verweis auf Wort
)
-- oder statt der beiden Tabellen oben nur diese
create table WorteUndAnzahl (
NDW_ID number(9) [AutoSequence],      -- Primärschlüssel
NDW_Wort varchar(50),                 -- unique
NDW_WortAnzahl number(9)              -- Direkte Häufigkeit, wenn Reihenfolge unwichtig 
)

Die Tabellen kannst Du dann entsprechend auswerten.

[frieder2008]

Hm, ich habe eben folgendes gefunden:

http://www.delphipraxis.net/45571-hash-tabellen.html

Das wäre wohl genau das, was ihr mit Hashmaps meintet (nehme ich an). Jetzt habe ich nur noch Probleme mit der Anwendung von Pointern..

Delphi-Quellcode:

var
  x: TStringDictionary;
  meinpointer: ^Integer;
begin
  x:= TStringDictionary.create;
  new(meinpointer);
  meinpointer^:= 3;

  x.Add('Wort1', meinpointer);

  meinpointer^:= 5;

  x.Add('Wort2', meinpointer);

  x.Find ('Wort1', meinpointer); --- FEHLER!
  showmessage(meinpointer);  --- potFEHLER

  x.Clear;
  x.Free;
  dispose(meinpointer);
end;

Bei FEHLER kommt die Meldung, dass die "Typen der tatsächlichen und formalen Var-Parameter" nicht übereinstimmten. Was mache ich falsch?

Und bei potFEHLER weiß ich, dass ich keinen pointer direkt als String ausgeben kann; reicht da ein inttostr(meinpointer) oder wie bekomme ich das zurück?

danke und gruß,
frieder

PS: Ist eine neue Frage, kann daher auch einen neuen Thread aufmachen.. - Danke jedenfalls schon mal für Eure Infos!!