Muss viele Strings vergleichen. Geschwindigkeit...

[jobo]

Ich würde mich da nicht mit codieren quälen.

Die CSVs in einer DB einbinden (meinetwegen auch importieren) und dann bequem per SQL abfragen. Zählen, Suchen, Dubletten, Lang, Kurz, Vergleichen, whatever..
auch ein neues Gesamtergebnis kann man dann wieder rausgeben oder aber eine Liste mit neuen Einträgen

[DelTurbo]

Zitat:

Zitat von Uwe Raabe (Beitrag 1376697)

Hast du bei der Stringlist nach dem Create

Delphi-Quellcode:

Sorted

auf true gesetzt? Wenn du dann noch

Delphi-Quellcode:

Duplicates

auf dupIgnore setzt, dann kannst du dir die Abfrage auf

Delphi-Quellcode:

IndexOf

auch sparen, da bei einem

Delphi-Quellcode:

Add

nur ein noch nicht vorhandener String zugefügt wird.

Ja, habe ich alles. Suchen muss ich aber, weil ich wissen muss ob die Nummer schon da ist. Ich muss mitzählen wie oft die in den CSVs vorkommt. Deswegen brauch ich das IndexOf.

Und ja, ich habe immer noch Delphi 2007.

Die Idee mit einlesen in eine DB kann ich mal umsetzen. Aber ich glaube nicht das es schneller wird.

[DelphendeElfen]

Aber dann könntest du doch auch einfach die Strings in die StringList adden und wenn ein Duplikat auftaucht bekommst du einen Fehler den du auswerten kannst. Oder verstehe ich da etwas falsch?

Zitat:

Note: For sorted lists, Add will raise an EListError exception if the string S already appears in the list and Duplicates is set to dupError. If Duplicates is set to dupIgnore, trying to add a duplicate string causes Add to return the index of the existing entry.

[DelTurbo]

Zitat:

Zitat von DelphendeElfen (Beitrag 1376720)

Aber dann könntest du doch auch einfach die Strings in die StringList adden und wenn ein Duplikat auftaucht bekommst du einen Fehler den du auswerten kannst. Oder verstehe ich da etwas falsch?

Das ist noch eine Idee. Die werde ich sofort mal versuchen. Wobei ich denke das "intern" das .Add ja auch nachsehen muss ob es die Nummer schon gibt.

Ich habe es gerade mal auf THashedStringList umgestellt. Das ist wesentlich langsamer.

[bra]

Zitat:

Zitat von Uwe Raabe (Beitrag 1376714)

Zitat:

Zitat von bra (Beitrag 1376706)

Er will ja gerade wissen, OB der Eintrag schon in der Liste war/ist.

Na ja, er will das wissen, um zu entscheiden, ob er den Eintrag hinzufügen soll oder nicht. Mit

Delphi-Quellcode:

dupIgnore

erübrigt sich das eben. Das macht intern nämlich genau das.

Nicht ganz ;)

Zitat:

Bestellnummern die mehrmals vorkommen muss ich zählen.

Darum mein Vorschlag mit dem dupError und den Fehler abfangen zum Zählen.

[DelTurbo]

Zitat:

Zitat von bra (Beitrag 1376724)

Darum mein Vorschlag mit dem dupError und den Fehler abfangen zum Zählen.

Ich habe es gerade eingbaut. Es ist leider langsamer als IndexOf.

[jobo]

Wie oben geschrieben, das Ganze in der Datenbank dürfte schnell und bequem sein. Selbst wenn man die Daten nicht importiert, sondern der DB nur die CSV "hinlegt" und bekannt gibt. Geht für firebird, postgres, oracle und sicher auch mssql.
Selbst mit sqlite wäre es ein 3 Zeiler, wenn man nicht extra eine dicke DB anwerfen will.
Dann noch notwendige Indizes spendieren und alles ist toll. sqlite hätte den Charme, dass man je CSV File eine eigene sqlite Datei nutzen könnte, mit anderen per dblink koppeln usw.
Man kann also munter mit den Daten jonglieren.

[himitsu]

Zitat:

Zitat von DelTurbo (Beitrag 1376721)

Wobei ich denke das "intern" das .Add ja auch nachsehen muss ob es die Nummer schon gibt.

siehe #7 zusammen mit #4

IndexOf in StringList sortiert > bei 1000 Einträgen bis zu 10 String-Vergleiche
IndexOf in StringList unsortiert > bei 1000 Einträgen alle 1000 String-Vergleiche, wenn nicht enthalten (durchschnittlich 500 wenn vorhanden)

"diese" THashedStringList ist gut beim Suchen, aber extrem schlecht beim Hinzufügen/Ändern.
Du änderst aber sehr oft und suchst verhältnismäßg selten.

[DelTurbo]

Hi,
ist vielleicht untergegangen. Sorted ist True. Hatte ich in #12 beantwortet. Aber mich schlecht ausgedrückt.

[DelTurbo]

Hi,
ich denke mal, das wenn man so eine Datenmenge hat, es nicht im Sekunden Bereich liegen kann. Damit muss man wohl leben. Trotz i7 mit 4,4Ghz im Turbomode.

Ich habe das nun so abgewandelt das ich einen 32Bit hash errechne und dann mit TIntegerlist arbeite. Das ist annehmbar schnell.

Link zu TIntegerlist

Vielen dank an alle die geholfen haben. :thumb: