Hat jemand schon eine Dateisuche für Multicore geschrieben?

[Phoenix]

Auch hier gilt: Befinden sich die Daten auf einer physikalischen Platte, würde ich es tunlichst vermeiden, mehrere Threads auf die Dateien loszulassen.

Ein Thread pro physikalisches Laufwerk ist da ideal.

Ggf. lohnt es sich jedoch, einen Thread die Daten lesen-, und ggf. mehrere Threads die gelesenen Daten auswerten zu lassen. Auch Schreibvorgänge sollten dann tunlichst nur in dem einem 'Zugriffs-'Thread pro Platte vorgenommen werden.

[Dezipaitor]

Also ich hab mir mal die Vista Suche etwas genauer angeschaut und habe dazu einen großen nicht indizierten Ordner verwendet.

Suche nach *.hlp Dateien in nicht indizierten Ordner. Vor jeder Suche wird das Suchergebniss gelöscht, indem krz nach etwas anderem gesucht wird.
Folgendes Bild habe ich bekommen:

Kerne : Elemente gefunden : Zeit : Auslastung (Kernnummer)

4 : 250 : 2:18 : zuerst 60-80%(1), dann nach 5-10sek 5-10%(1), 15-25%(2-4)
2 : 250 : 2:30 : 25-40% (3,4)
1 : 250 : 2:06 : 70-100% (4)

Ich habe die Kernanzahl für den Prozess explorer.exe entsprechend eingestellt.
Ich habe jeden Test 2 mal durchgeführt und dann das Mittel gebildet.

Das Ergebnis ist wohl eindeutig, obwohl ich mir nicht erklären kann, warum 2 Kerne solange brauchen. Ich werde mal den Test bei Gelegenheit auch unter XP durchführen.

[himitsu]

Zitat:

Zitat von Dezipaitor

Vor jeder Suche wird das Suchergebniss gelöscht, indem krz nach etwas anderem gesucht wird.

klappt nicht so ganz Windows is ins solchen Dingen nicht wirklich optimiert, das zeigt doch schon die zu hohe CPU-Auslastung.

außerdem werden Dateien und vorallem das das Dateisystem im RAM zwischengespeichert - siehe (System)FileCache
und speziell das Cachen des Dateisystems (Ordnerinhalte) kann nicht groß beeinflußt werden.

Zitat:

Das Ergebnis ist wohl eindeutig

wie eindeutig?
ich schau mir die Zeit an und was seh ich?
SingelCore ist schneller.

Zitat:

obwohl ich mir nicht erklären kann

das könnte vielleicht an der FileCache liegen.


PS: ein guter weg die FileCache zu leeren ist das System kurz in den Hibernate zu fahren, denn die Cache wird geflusht und/also nicht gespeichert und ist danach schon fast leer (bis auf das was nach dem Hochfahren wieder reingeladen wurde).

ist och die einzige Möglichkeit ohne direkt in das FileCacheManagement einzugreifen (was eh kaum Möglich ist)

also soviele Prozesse wie möglich beenden (möglichst bis auf das Testprog)
und dann vor jeder Messung kurz aus-ein ... ein/zwei minuten warten, damit sich das System beruhigt und immer etwa gleiche Wartezeiten einhalten

[Dezipaitor]

Zitat:

Zitat von himitsu

Zitat:

Zitat von Dezipaitor

Vor jeder Suche wird das Suchergebniss gelöscht, indem krz nach etwas anderem gesucht wird.

klappt nicht so ganz Windows is ins solchen Dingen nicht wirklich optimiert, das zeigt doch schon die zu hohe CPU-Auslastung.

Das war doch das Ziel! Die hohe CPU Auslastung verriet mir, dass kein Index der Dateien vorlag. Zudem war die Plattenaktivität dadurch hoch.

Zitat:

Zitat von himitsu

außerdem werden Dateien und vorallem das das Dateisystem im RAM zwischengespeichert - siehe (System)FileCache
und speziell das Cachen des Dateisystems (Ordnerinhalte) kann nicht groß beeinflußt werden.

Die getestete Platte ist eine SATA im Wechselrahmen und daher für schnelles Herausziehen optimiert.
Abgesehen von diesem Fakt, habe ich die Tests doppelt durchlaufen und beide Male immer sehr ähnliche Ergebnisse erzielt.

Zitat:

Zitat von himitsu

Zitat:

Zitat von Dezipaitor

Vor jeder Suche wird das Suchergebniss gelöscht, indem krz nach etwas anderem gesucht wird.

klappt nicht so ganz Windows is ins solchen Dingen nicht wirklich optimiert, das zeigt doch schon die zu hohe CPU-Auslastung.

Zitat:

Zitat von himitsu

Zitat:

Das Ergebnis ist wohl eindeutig

wie eindeutig?
ich schau mir die Zeit an und was seh ich?
SingelCore ist schneller.

Natürlich eindeutig auf den Sieg für SingleCore. Ich habe ja nicht geschrieben, dass die Ergebnisse gleich sind.

Zitat:

Zitat von himitsu

Zitat:

obwohl ich mir nicht erklären kann

das könnte vielleicht an der FileCache liegen.

Bitte reiss meine Sätze nicht auseinander und zitiere sie dann. Wenn das Original nicht drüber stehen würde, würde man nicht erfahren, dass ich mir nicht erklären kann warum 2 Kerne länger brauchen als 4 Kerne.
Vielleicht muss man hunderte von Testdurchläufen machen, um genauerere und aussagekrätigere Ergebnisse zu machen. Aber das mache ich nicht für eine solche kleine Sache.




PS: ein guter weg die FileCache zu leeren ist das System kurz in den Hibernate zu fahren, denn die Cache wird geflusht und/also nicht gespeichert und ist danach schon fast leer (bis auf das was nach dem Hochfahren wieder reingeladen wurde).

ist och die einzige Möglichkeit ohne direkt in das FileCacheManagement einzugreifen (was eh kaum Möglich ist)

also soviele Prozesse wie möglich beenden (möglichst bis auf das Testprog)
und dann vor jeder Messung kurz aus-ein ... ein/zwei minuten warten, damit sich das System beruhigt und immer etwa gleiche Wartezeiten einhalten