Dateien performant mit Callback kopieren

[KodeZwerg]

Zitat von himitsu:

Ein gibt garnichts, was am Performantesten ist.

Zumindest nannte ich eine tödlich-performante Variante, jedes Byte in GUI darstellen, da verlagert sich dann der Flaschenhals nach GUI.

Zitat von p80286:

Sei's drum, Du kannst jeden Thread eine Message mit dem aktuellen Stand des Kopiervorgangs schicken lassen

Solange es Lokal "fest verkabelt" und nicht über LAN (o.ä.) stattfindet, Rate ich davon ab, Flaschenhals ist bei Kopierprozessen idR der BUS.


Meine Erfahrungen mit selbst gezüchteten Kopiertechniken:

• Eine non-Cached Variante verliert idR bei Performance-Tests immer.
• Eine multi-Thread Variante scheitert meist am BUS Flaschenhals, da kann man auch die Kerne im Vorfeld auslesen und dementsprechend Threads verteilen, es passt nunmal nur eine Gewisse Menge an Daten zwischen den BUS.
• eine cached Variante mit 4kb ist sehr flott, bei 64kb blöcken habe ich in meinem System die beste Kopier-Rate.
• Kopier-Programme die im Vorfeld verbaute Caches ermitteln kenne ich persönlich noch nicht, das wäre mal eine Herausfordernung.
• Für eine ProgressBar kommt aus meiner Sicht nur eine Prozent-Anzeige in Frage, ich selbst nutze eine 5% Variante, habe noch keine Nachteile feststellen können. (alle +5% aktualisiert sich meine GUI)
• Ich selbst erstelle/nutze einen Kopier-Thread, damit GUI entlastet wird.

Sinnvolle Anzeigen für GUI:

• ProgressBars für kompletten Vorgang und aktueller Datei (für Multi-Copy)
• Labels für alle Bytes, kopierte Bytes; dazu vielleicht noch ein Label mit Rest-Kopier-Dauer?
• Label für Dateinamen (bei Multi-Copy erscheint bei mir noch ein Label mit Pfad)
• Abbrechen Knopf

Sinnvolle non-Visual Dinge:

• Hash/CRC Kontrolle zum verifizieren der Daten.
• Für cache Varianten könnten hier zusätzliche Manipulatoren eingeplant werden. Komprimierung/Verschlüsselung zum Beispiel. Je nach Sinn und Zweck.

[API]

Mit CopyFileEx()?

http://delphidabbler.com/tips/160

[himitsu]

Zitat:

Zumindest nannte ich eine tödlich-performante Variante

Tödlich ist das richtige Wort.

Versuche mal mit sowas mehrere GB an Daten zu kopieren.
Windows bevorzugt per Standard den FileCache, kopiert durch den FileCache und da der LeseCache auch nach dem vollständigen Schreiben erhalten bleibt, schmeißt es somit ALLE Programme aus dem RAM in die PageFile und dein System wird sowas von ausgebremst, dass es richtig Spaß macht.

Bei FileStreams könntest DU wenigstens noch angeben, dass es sich um sequentielle Zugriffe handelt, damit Windows den Cache entsprechend optimieren könnte (wenn es das mal macht), aber da ist es einfacher die Kopierfunktionen der WinAPI zu nutzen, wo dessen Entwickler sowas hoffentlich beachtet haben.

[EWeiss]

Ach Leute Copy und vergleichbares, verstehe die Diskussion nicht.

Zitat:

Ein gibt garnichts, was am Performantesten ist.

Performanter als das System Daten kopiert gibt es eh nicht.
Und welche variante von Copy man verwendet ist letztendlich uninteressant.

gruss

[Mavarik]

Zitat von EWeiss:

Performanter als das System Daten kopiert gibt es eh nicht.

Getestet oder nur geschätzt?

[EWeiss]

Zitat von Mavarik:

Zitat von EWeiss:

Performanter als das System Daten kopiert gibt es eh nicht.

Getestet oder nur geschätzt?

Ich denke ist wohl abhängig von vielen Dingen.. Hardware, System, Software.
Sollte die Software schneller sein beim kopieren als das System selbst? Möchte ich bezweifeln.

gruss

[Mavarik]

Zitat von EWeiss:

Sollte die Software schneller sein beim kopieren als das System selbst? Möchte ich bezweifeln.

Also geschätzt.

Ich denke, das eine optimierte Software schnelle sein kann als das System. Der System copy process muss sehr variable und auf viele Faktoren "achten"...

Ich kann mich gut daran erinnern, dass es immer Software gab, die abhängig von der Festplatte ausgerechnet hat wann und wie schnell die Festplatte sich dreht und genau ausgerechnet hat, wann ein Track in einer Umdrehung gelesen werden kann. (Bei Floppy's waren da die größte Unterschiede).

Ich denke, wenn ich einen großen Block RAM reserviere (Physikalisch nicht über die Swap Datei) und dann in einem Rutsch 1GB lade und schreibe ohne jeden test ob Festplatte voll usw. dann ist das schneller als ein Copy vom System.

Aber getestet hab ich es auch nicht (in letzter Zeit)…

[DieDolly]

Zitat von himitsu:

Zitat:

Zumindest nannte ich eine tödlich-performante Variante

Tödlich ist das richtige Wort.

Versuche mal mit sowas mehrere GB an Daten zu kopieren.
Windows bevorzugt per Standard den FileCache, kopiert durch den FileCache und da der LeseCache auch nach dem vollständigen Schreiben erhalten bleibt, schmeißt es somit ALLE Programme aus dem RAM in die PageFile und dein System wird sowas von ausgebremst, dass es richtig Spaß macht.

Bei FileStreams könntest DU wenigstens noch angeben, dass es sich um sequentielle Zugriffe handelt, damit Windows den Cache entsprechend optimieren könnte (wenn es das mal macht), aber da ist es einfacher die Kopierfunktionen der WinAPI zu nutzen, wo dessen Entwickler sowas hoffentlich beachtet haben.

Ich habe gerade eben mal mit CreateFile und alten Dateizugriffsfunktionen geprüft, ob es einen Unterschied macht FILE_FLAG_NO_BUFFERING zu nutzen oder nicht.
Mit FILE_FLAG_NO_BUFFERING dauert das erste Kopieren einer 1 GB Datei von E nach E 30 Sekunden. Danach Wieder 30 Sekunden.
Ohne den NO_Buffering-Parameter erst 30 Sekunden und danach wenn überhaupt eine Sekunde.

Würde das System theoretisch sehr viel langsamer werden wenn ich 25 x 1 GB ohne den No-Buffering-Parameter kopiere?

[himitsu]

Wie gesagt, was "optimaler" ist, das hängt von den Umweltbedingungen ab.

Und es gibt einen Unterschied ob das Kopieren "gefühlt" schnell ist, aber im Hintergrund noch weiterläuft, weil es nur in den Cache geschrieben wurde und der dann verzögert erst auf der Platte landet ... das merkst du dann, wenn du noch mehr kopierst.
Das "komplette" Schreiben dauert hierbei so oder so durchschnittlich gleich lang.

ABER, wenn es durch den FileCache den RAM "überfüllt" und du mehr kopierst, als RAM frei ist, dann werden andere Dinge ausgebremst und auch das Kopieren wird ab diesem Zeitpunkt langsamer und das sogar langsamer als ohne FileCache, also wenn man dessen Behandlung ganz umgehen würde.



Beim blosen Kopieren kann das Kopieren mit FileCache "gefühlt" schneller sein, aber insgesamt wird immer irgendwas ausgebremst, sobald nicht genügend RAM frei ist.

[DieDolly]

Verständlich erklärt. Eigentlich kann man sogar festhalten, dass es für Netbooks vom alten Schlag besser ist ohne Buffer zu kopieren. Denn die haben ohnehin nicht viel RAM.