Muss viele Strings vergleichen. Geschwindigkeit...

[DelTurbo]

Hallo,
ich habe ein kleines Problem. Ich habe bis zu 2.000.000 Produkte in CSVDateien. Dort stehen Bestellnummern drin. Bestellnummern die mehrmals vorkommen muss ich zählen. Die Bestellnummern sind 10 Zeichen lang.

Da die Bestellnummern nur 10 Zeichen haben habe ich die in einer TStringlist. Das ist wesentlich schneller als THashedStringList habe ich festgestellt.

Nun zu meinem Problem. Je mehr Bestellnummern ich in der TStringlist habe um so langsamer wird das ganze. Ist ja auch logisch.

Ich Frage mit .IndexOf ob es die Bestellnummer schon gibt. Wenn nicht adde ich die. Hat vielleicht jemand eine andere Idee wie ich schneller abfragen könnte ob es die Nummer schon gibt?

Vielen dank im Voraus

[Neutral General]

Mit THashedStringList sollte ein IndexOf eigentlich schneller sein.
Falls du zufällig doch eine neuere Version als Delphi 2007 benutzt gäbe es da auch noch TDictionary<string, string> (bzw. <string, irgendwas>)

[Uwe Raabe]

Hast du bei der Stringlist nach dem Create Sorted auf true gesetzt? Wenn du dann noch Duplicates auf dupIgnore setzt, dann kannst du dir die Abfrage auf IndexOf auch sparen, da bei einem Add nur ein noch nicht vorhandener String zugefügt wird.

[himitsu]

Jupp, wenn StringList sortiert ist, dann nutzt IndexOf eine "optimierte" Suchfunktion,
wenn nicht, dann wird im Worst-Case jedes mal die komplette Liste durchgegangen (jeder einzelne String verglichen).

Mit eine Hashed-StringList muß nur nach dem Hash (Integer) gesucht werden, anstatt alle Strings als Byteweise zu vergleichen.

Das Dictinary ist erstmal sortiert und nutzt auch noch Hashs. (die Hashs sind natürlich sortiert)

[Bernhard Geyer]

Wir haben BTree-Implementierung im Einsatz die uns genau solche Suchen extrem beschleunigt.

[bra]

Zitat von Uwe Raabe:

Hast du bei der Stringlist nach dem Create Sorted auf true gesetzt? Wenn du dann noch Duplicates auf dupIgnore setzt, dann kannst du dir die Abfrage auf IndexOf auch sparen, da bei einem Add nur ein noch nicht vorhandener String zugefügt wird.

Er will ja gerade wissen, OB der Eintrag schon in der Liste war/ist.


Du könntest die TStringList sortieren und auf dupError setzen. Beim Add fängst du den Fehler ab und weißt, ob der Eintrag schon in der Liste war oder nicht.

[himitsu]

Add macht intern auch ein IndexOf (außer bei dupAccept und wenn nicht sortiert, wo er nicht zu prüfen/suchen braucht)

Das Tempo des IndexOf steckt also auch im Add drin.

[freimatz]

Aus meiner Sicht eindeutig: versuche es erst mal mit einem TDictionary<>. Ist wirklich "Delphi 2007 Architect" deine letzte Version? Bestell dir eine neuere oder such dir einen anderen Job.
BTree geht auch, ist aber nicht "out of the Box". Falls doch: auch ich habe auch eine Implementierung incl. hausinternen unit test.

[Daniel]

Zitat von freimatz:

Bestell dir eine neuere oder such dir einen anderen Job.

Also bitte? Was ist das denn für ein abartiger Kommentar? Man kann sich seine Werkzeuge eben nicht in jedem Projekt frei aussuchen. Du wirst das erkennen, sobald Du selbst ein wenig Lebens- und Praxiserfahrung gesammelt hast. Bis dahin wird man wohl nachsichtig mit Dir sein müssen.

[Uwe Raabe]

Zitat von bra:

Er will ja gerade wissen, OB der Eintrag schon in der Liste war/ist.

Na ja, er will das wissen, um zu entscheiden, ob er den Eintrag hinzufügen soll oder nicht. Mit dupIgnore erübrigt sich das eben. Das macht intern nämlich genau das.

Zitat von DelTurbo:

Ich Frage mit .IndexOf ob es die Bestellnummer schon gibt. Wenn nicht adde ich die.