Threadsave List

[Fritzew]

Kennt jemand eine performante Threadsave List Implementation?
Ich bin im Moment am refactoring eines sehr grossen Projektes.
Es haben sich einige "Nadelöhre" gezeigt. Ich bin nun daran zu untersuchen welche Teile ich in Threads auslagern kann.
Das grösste Problem dabei ist, dass sehr oft Informationen zusammengesucht werden müssen und diese zur späteren Verarbeitung irgendwo Zwischengelagert werden sollten. Der naive Gedanke war einfach nehme eine tThreadlist<irgendwas>
und schreibe es da rein. Bringt aber nicht wirklich viel, da das locken in der Threadlist doch relativ viel Zeit braucht.
Ich spreche hier von wirklich grossen Datenmengen. Deshalb die Frage. Und es geht effektiv um Geschwindigkeit. Vor allem um das Insert in die Liste.

[stahli]

Ich denke nicht, dass das locken selbst wirklich so viel Zeit braucht.
Wie oft und aus wie vielen Threads greifst Du denn schreibend und lesend auf die Liste zu?

Evtl. kannst Du Deine Sammlung auf mehrere Listen aufteilen.
Liste füllen und bei 1000 Einträgen eine neue Liste zum füllen bereitstellen.
Die verarbeitenden Threads können auf die älteren Listen zugreifen und welche jeweils Leseindex verwalten.
Wenn der Leseindex bei 1000 steht sind alle Einträge verarbeitet und die Liste kann freigegeben werden.

So kommen sich der schreibende und die lesenden Threads weniger in die Quere (wenn ich Dich richtig verstanden habe).

[Fritzew]

Es geht effektiv nicht um parallel schreiben und lesen sondern um das füllen.
Wir sprechen hier von mehreren 100.00 Einträgen. Und ja wir konnten es effektiv auf auf das Locking zurückführen.
Tests in denen einfach nur das befüllen in Threads ausgeführt wurde haben es bestätigt.

Es gibt hier Test mit Profiling etc...

Deshalb suche ich ja nach etwas wirklich performanten zum befüllen einer Liste

[Zacherl]

Wenn ich mich richtig erinnere, dann gibt es in der OmniThreadLibrary sogenannte "lockless"/"lock-free" Container. Das ist ein Idiom, mit welchem man ohne Verwendung klassischer Locks (CriticalSections, etc.) Thread-sichere Container implementieren kann. Technisch gesehen funktioniert das über atomare Operationen.

[Fritzew]

Danke für den Tip, werde ich mir anschauen

[Stevie]

100000 Items in eine Liste zu packen, kann nicht so lange dauern, ich hab neulich mal 100 Millionen Items in eine Liste gepackt, das hat knapp 700ms gedauert (vorheriges Setzen der Capacity natürlich, sonst gurkts ewigst).

Gib jedem thread eine eigene Liste, führe die rechenintentiven Operationen parallel aus und merge die Liste hinterher.