Einzelnen Beitrag anzeigen

Benutzerbild von Valle
Valle

Registriert seit: 26. Dez 2005
Ort: Karlsruhe
1.223 Beiträge
 
#14

AW: Multithread und File I/O bei SSD/HDD

  Alt 24. Apr 2016, 16:48
Dein Betriebssystem und dein Dateisystem sollten sich gut genug darum kümmern können. Ich glaube kaum dass du hier sinnvoll optimierne kannst. Wichtig ist nur, dass du eindeutige Signale für dein Betriebssystem setzen kannst. Wenn du ein Verzeichnis an Dateien iterierst, dann können moderne Heuristiken dich schon sehr gut dabei unterstützen. Es wird dann oft schon präventiv eingelesen. Funktioniert natürlich nicht, wenn Dateien überall verteilt sind.

Mein Ansatz wäre es dann, eine Queue im RAM anzulegen und einen Thread (bis zur maximalen Befüllung) diese Queue befüllen zu lassen. (n-1) andere Threads arbeiten die Queue ab. Der einlesende Thread speichert die Ergebnisse der anderen Threads gelegentlich zurück. Wenn du blockweise arbeitest (nicht ein Bild abspeichern, sondern immer gleich 100 oder so; je nach RAM; währenddessen das Einlesen einstellen) solltest du die besten Ergebnisse haben.
Valentin Voigt
BOFH excuse #423: „It's not RFC-822 compliant.“
Mein total langweiliger Blog
  Mit Zitat antworten Zitat