Duplikate in Stringlist

[youuu]

Super funktioniert, kostet allerdings immernoch etwas Performance statt 9-15 Sekunden, sind es nun 3 Sekunden von damals 2 - 2,6 Sekunden.

Schneller wird es nicht möglich sein oder?

[mkinzler]

Möglicherweise mit einer THashedStringList

[youuu]

Ok gerade mit größeren Datensätzen probiert mit IndexOf und bei sovielen Datensätzen wie ich in der Liste haber, dauert das 20-40 Sekunden.

Das ist einfach nicht tragbar.

[Bernhard Geyer]

Zitat:

Zitat von youuu (Beitrag 1036580)

Schneller wird es nicht möglich sein oder?

Doch. HashTree/BTree sind bei großen Datenmengen um Welten schneller.

[youuu]

Soeben mit THashedStringList probiert und das gab wirklich einen extremen Performance boost.

[xZise]

Moin,

Zitat:

Zitat von youuu (Beitrag 1036602)

Soeben mit THashedStringList probiert und das gab wirklich einen extremen Performance boost.

Weil es ein anderes Verfahren ist. In einer Liste mit 100.000 Einträgen, weißt du ja nicht sofort ob ein Eintrag bereits vorhanden ist, sondern musst im schlimmsten Fall alle Einträge überprüfen.

Eine HashedStringList (wenn das sowas ähnliches ist wie eine Hashmap ist), hingegen definiert, wo ein Wert steht, anhand des Inhalts (z.B.). Also wenn du den Text Foo hast, dann weiß er wo das so ungefähr ist.

MfG
Fabian

[Sandi007]

Zitat:

Zitat von Matze (Beitrag 1036501)

...

Delphi-Quellcode:

var
    sl.Add('a');

Ohne "Sorted := true;" geht es nicht.
...

ja, und auch nur mit .Add, mit .Append geht es auch nicht.

[Dejan Vu]

Zitat:

Zitat von alzaimar (Beitrag 1036509)

Eine Hashmap prüft das Vorhandensein eines Strings wesentlich effektiver, als das in der TStringList eingebaute 'Duplicates'. Beim Einfügen dürfte das die bei weitem schnellste Möglichkeit sein.

Du kannst Dir auch die THashedStringList aus der Unit 'IniFiles' nehmen, die hier vielleicht auch schnell genug sein könnte.

Lustig. Auch 5 Jahre alte Tipps sind immer noch gültig.

EDIT: Unnötige Bemerkung entfernt.