Dateien performant mit Callback kopieren

[EWeiss]

Ach Leute Copy und vergleichbares, verstehe die Diskussion nicht.

Zitat:

Ein gibt garnichts, was am Performantesten ist.

Performanter als das System Daten kopiert gibt es eh nicht.
Und welche variante von Copy man verwendet ist letztendlich uninteressant.

gruss

[Mavarik]

Zitat von EWeiss:

Performanter als das System Daten kopiert gibt es eh nicht.

Getestet oder nur geschätzt?

[EWeiss]

Zitat von Mavarik:

Zitat von EWeiss:

Performanter als das System Daten kopiert gibt es eh nicht.

Getestet oder nur geschätzt?

Ich denke ist wohl abhängig von vielen Dingen.. Hardware, System, Software.
Sollte die Software schneller sein beim kopieren als das System selbst? Möchte ich bezweifeln.

gruss

[Mavarik]

Zitat von EWeiss:

Sollte die Software schneller sein beim kopieren als das System selbst? Möchte ich bezweifeln.

Also geschätzt.

Ich denke, das eine optimierte Software schnelle sein kann als das System. Der System copy process muss sehr variable und auf viele Faktoren "achten"...

Ich kann mich gut daran erinnern, dass es immer Software gab, die abhängig von der Festplatte ausgerechnet hat wann und wie schnell die Festplatte sich dreht und genau ausgerechnet hat, wann ein Track in einer Umdrehung gelesen werden kann. (Bei Floppy's waren da die größte Unterschiede).

Ich denke, wenn ich einen großen Block RAM reserviere (Physikalisch nicht über die Swap Datei) und dann in einem Rutsch 1GB lade und schreibe ohne jeden test ob Festplatte voll usw. dann ist das schneller als ein Copy vom System.

Aber getestet hab ich es auch nicht (in letzter Zeit)…

[EWeiss]

Zitat:

Also geschätzt.

Nein. Ich denke das ist logisch.. (aber desweiteren geschätzt. Ja )
Wie gesagt es gibt viele Faktoren.. Einer der größten mag dein Virenscanner sein

gruss

[DieDolly]

Wenn ich ohne Buffering von Windows und einer Buffergröße von 10 MB bei ReadFile eine 1 GB-Datei kopiere, dauert das rund 30 Sekunden.
Mit 256 KB Buffer 40 Sekunden.
Mit einem 100 MB Buffer 22 Sekunden - genau so schnell wie Windows.

Aber bei 100 MB merkt man, dass die ProgressBar sich beim Aktualisieren anders verhält. Es werden keine kleinen Sprünge mehr gemacht sondern jede Sekunde ein großer.
Ein 50 MB Buffer ist auch OK und eine 1 GB Datei ist nach 22 bis 23 Sekunden kopiert.

Wenn man ReadFile und WriteFile nimmt, dann ist ein 100 MB Buffer am schnellsten. je kleiner, desto länger dauert es.
Ich lese von einer mechanischen HDD und schreibe auf genau dieselbe für meine Tests.

Der beste Buffer scheint also irgendwo zwischen 30 und 50 MB zu liegen. jedenfalls für HDDs. Bei guten SSDs kann man meiner Meinung nach bei 100 MB anfangen.

[EWeiss]

[OT]

Zitat:

dass die ProgressBar sich beim Aktualisieren anders verhält

Man sollte nur zulassen das sich die Progressbar aktualisiert wenn sich die Daten verändert haben der Performance wegen.
Ob du das tust weis ich leider nicht.

Aber hier ein Beispiel.

Delphi-Quellcode:

    Progress := trunc(100 * (Bass_ChannelGetPosition(Channel, BASS_POS_BYTE) / Bass_ChannelGetLength
          (Channel, BASS_POS_BYTE)));

    if (ProgressBar.Value <> Progress) then
      ProgressBar.Value := Progress;

[/OT]

Zitat:

Abgesehen von kopieren...

Und darum ging es mir.. also doch logisch

gruss

[Mavarik]

Zitat von DieDolly:

Der beste Buffer scheint also irgendwo zwischen 30 und 50 MB zu liegen. jedenfalls für HDDs. Bei guten SSDs kann man meiner Meinung nach bei 100 MB anfangen.

Das Buffer solle immer aligned sein und zur Sektor-Größe passen.

Siehe

[Mavarik]

Zitat von DieDolly:

Wenn ich ohne Buffering von Windows und einer Buffergröße von 10 MB bei ReadFile eine 1 GB-Datei kopiere, dauert das rund 30 Sekunden.
Mit 256 KB Buffer 40 Sekunden.
Mit einem 100 MB Buffer 22 Sekunden - genau so schnell wie Windows.

Dazu hätte ich gerne mal Dein Testprogramm...

[Mavarik]

Zitat von EWeiss:

Nein. Ich denke das ist logisch..

Nöö, das ist alles andere als logisch... Abgesehen von kopieren...

Schau mal hier - OK andere Aufgabenstellung.

Natives lesen ist langsamer als aus einer Datenbank - also ich hätte gewettet das der Datenbankoverhead das ganze viel langsamer macht.