Muss viele Strings vergleichen. Geschwindigkeit...

[jobo]

Ich würde mich da nicht mit codieren quälen.

Die CSVs in einer DB einbinden (meinetwegen auch importieren) und dann bequem per SQL abfragen. Zählen, Suchen, Dubletten, Lang, Kurz, Vergleichen, whatever..
auch ein neues Gesamtergebnis kann man dann wieder rausgeben oder aber eine Liste mit neuen Einträgen

[DelTurbo]

Zitat von Uwe Raabe:

Hast du bei der Stringlist nach dem Create Sorted auf true gesetzt? Wenn du dann noch Duplicates auf dupIgnore setzt, dann kannst du dir die Abfrage auf IndexOf auch sparen, da bei einem Add nur ein noch nicht vorhandener String zugefügt wird.

Ja, habe ich alles. Suchen muss ich aber, weil ich wissen muss ob die Nummer schon da ist. Ich muss mitzählen wie oft die in den CSVs vorkommt. Deswegen brauch ich das IndexOf.

Und ja, ich habe immer noch Delphi 2007.

Die Idee mit einlesen in eine DB kann ich mal umsetzen. Aber ich glaube nicht das es schneller wird.

[DelphendeElfen]

Aber dann könntest du doch auch einfach die Strings in die StringList adden und wenn ein Duplikat auftaucht bekommst du einen Fehler den du auswerten kannst. Oder verstehe ich da etwas falsch?

Zitat:

Note: For sorted lists, Add will raise an EListError exception if the string S already appears in the list and Duplicates is set to dupError. If Duplicates is set to dupIgnore, trying to add a duplicate string causes Add to return the index of the existing entry.

[DelTurbo]

Zitat von DelphendeElfen:

Aber dann könntest du doch auch einfach die Strings in die StringList adden und wenn ein Duplikat auftaucht bekommst du einen Fehler den du auswerten kannst. Oder verstehe ich da etwas falsch?

Das ist noch eine Idee. Die werde ich sofort mal versuchen. Wobei ich denke das "intern" das .Add ja auch nachsehen muss ob es die Nummer schon gibt.

Ich habe es gerade mal auf THashedStringList umgestellt. Das ist wesentlich langsamer.

[bra]

Zitat von Uwe Raabe:

Zitat von bra:

Er will ja gerade wissen, OB der Eintrag schon in der Liste war/ist.

Na ja, er will das wissen, um zu entscheiden, ob er den Eintrag hinzufügen soll oder nicht. Mit dupIgnore erübrigt sich das eben. Das macht intern nämlich genau das.

Nicht ganz

Zitat:

Bestellnummern die mehrmals vorkommen muss ich zählen.

Darum mein Vorschlag mit dem dupError und den Fehler abfangen zum Zählen.

[DelTurbo]

Zitat von bra:

Darum mein Vorschlag mit dem dupError und den Fehler abfangen zum Zählen.

Ich habe es gerade eingbaut. Es ist leider langsamer als IndexOf.

[jobo]

Wie oben geschrieben, das Ganze in der Datenbank dürfte schnell und bequem sein. Selbst wenn man die Daten nicht importiert, sondern der DB nur die CSV "hinlegt" und bekannt gibt. Geht für firebird, postgres, oracle und sicher auch mssql.
Selbst mit sqlite wäre es ein 3 Zeiler, wenn man nicht extra eine dicke DB anwerfen will.
Dann noch notwendige Indizes spendieren und alles ist toll. sqlite hätte den Charme, dass man je CSV File eine eigene sqlite Datei nutzen könnte, mit anderen per dblink koppeln usw.
Man kann also munter mit den Daten jonglieren.

[himitsu]

Zitat von DelTurbo:

Wobei ich denke das "intern" das .Add ja auch nachsehen muss ob es die Nummer schon gibt.

siehe #7 zusammen mit #4

IndexOf in StringList sortiert > bei 1000 Einträgen bis zu 10 String-Vergleiche
IndexOf in StringList unsortiert > bei 1000 Einträgen alle 1000 String-Vergleiche, wenn nicht enthalten (durchschnittlich 500 wenn vorhanden)

"diese" THashedStringList ist gut beim Suchen, aber extrem schlecht beim Hinzufügen/Ändern.
Du änderst aber sehr oft und suchst verhältnismäßg selten.

[DelTurbo]

Hi,
ist vielleicht untergegangen. Sorted ist True. Hatte ich in #12 beantwortet. Aber mich schlecht ausgedrückt.

[DelTurbo]

Hi,
ich denke mal, das wenn man so eine Datenmenge hat, es nicht im Sekunden Bereich liegen kann. Damit muss man wohl leben. Trotz i7 mit 4,4Ghz im Turbomode.

Ich habe das nun so abgewandelt das ich einen 32Bit hash errechne und dann mit TIntegerlist arbeite. Das ist annehmbar schnell.

Link zu TIntegerlist

Vielen dank an alle die geholfen haben.