Dateien performant mit Callback kopieren

[Mavarik]

Zitat:

Zitat von EWeiss (Beitrag 1409635)

Nein. Ich denke das ist logisch..

Nöö, das ist alles andere als logisch... Abgesehen von kopieren...

Schau mal hier - OK andere Aufgabenstellung.

Natives lesen ist langsamer als aus einer Datenbank - also ich hätte gewettet das der Datenbankoverhead das ganze viel langsamer macht.

[EWeiss]

[OT]

Zitat:

dass die ProgressBar sich beim Aktualisieren anders verhält

Man sollte nur zulassen das sich die Progressbar aktualisiert wenn sich die Daten verändert haben der Performance wegen.
Ob du das tust weis ich leider nicht.

Aber hier ein Beispiel.

Delphi-Quellcode:

    Progress := trunc(100 * (Bass_ChannelGetPosition(Channel, BASS_POS_BYTE) / Bass_ChannelGetLength
          (Channel, BASS_POS_BYTE)));

    if (ProgressBar.Value <> Progress) then
      ProgressBar.Value := Progress;

[/OT]

Zitat:

Abgesehen von kopieren...

Und darum ging es mir.. also doch logisch :)

gruss

[Mavarik]

Zitat:

Zitat von DieDolly (Beitrag 1409637)

Der beste Buffer scheint also irgendwo zwischen 30 und 50 MB zu liegen. jedenfalls für HDDs. Bei guten SSDs kann man meiner Meinung nach bei 100 MB anfangen.

Das Buffer solle immer aligned sein und zur Sektor-Größe passen.

Siehe

[Mavarik]

Zitat:

Zitat von DieDolly (Beitrag 1409637)

Wenn ich ohne Buffering von Windows und einer Buffergröße von 10 MB bei ReadFile eine 1 GB-Datei kopiere, dauert das rund 30 Sekunden.
Mit 256 KB Buffer 40 Sekunden.
Mit einem 100 MB Buffer 22 Sekunden - genau so schnell wie Windows.

Dazu hätte ich gerne mal Dein Testprogramm...

[DieDolly]

Zitat:

Zitat von Mavarik (Beitrag 1409642)

Zitat:

Zitat von DieDolly (Beitrag 1409637)

Der beste Buffer scheint also irgendwo zwischen 30 und 50 MB zu liegen. jedenfalls für HDDs. Bei guten SSDs kann man meiner Meinung nach bei 100 MB anfangen.

Das Buffer solle immer aligned sein und zur Sektor-Größe passen.

Da man ja nie weiß wie groß der Sektor einer Festplatte ist, denn es gibt ja tausende Verschiedene Platten, und 50 MB irgendwo ein Vielfaches von 512, 1024, 2048 oder 4096 ist, macht man da mit 50 MB was falsch?

Zitat:

Man sollte nur zulassen das sich die Progressbar aktualisiert wenn sich die Daten verändert haben der Performance wegen.

Sowas ist ein Muss.

[sakura]

Zitat:

Zitat von DieDolly (Beitrag 1409645)

Da man ja nie weiß wie groß der Sektor einer Festplatte ist, denn es gibt ja tausende Verschiedene Platten, und 50 MB irgendwo ein Vielfaches von 512, 1024, 2048 oder 4096 ist, macht man da mit 50 MB was falsch?

Ähm... vieles. Und die Sektorengröße kann man schließlich einfach ermitteln. Einfach mal in der DP suchen.

Aber ich verstehe nicht, warum Du nicht die Windows-Hausmittel nutzt, die sind i.A. sehr performant und darauf optimiert sich an die jeweiligen System anzupassen.

...:cat:...

[DieDolly]

Eine Datei in einem Rutsch mit CopyFile zu kopieren ist doch zu einfach.
Was mich an der Sache interessiert ist der CallBack und immer auf dem Laufenden zu sein, wieviel gerade kopiert wurde.

[EWeiss]

Zitat:

Sowas ist ein Muss.

Nur ich sehe immer wieder das es viele halt nicht tun.. aber sei's drum.
War nur ein Tip.

Zitat:

Aber ich verstehe nicht, warum Du nicht die Windows-Hausmittel nutzt, die sind i.A. sehr performant und darauf optimiert sich an die jeweiligen System anzupassen.

:thumb:

gruss

[DieDolly]

Zitat:

Ähm... vieles. Und die Sektorengröße kann man schließlich einfach ermitteln. Einfach mal in der DP suchen.

Finde dazu genau nichts.

Könnt ihr mir vielleicht ein Beispiel zeigen was ihr mit Hausmitteln meint? Damit meine ich kein simples CopyFile.
Sondern irgendwas mit einem CallBack, sodass ich immer auf dem Laufenden bin und den Kopiervorgang auch von Außen abbrechen kann.

Aktuell nutze ich alte Windowsmittel, die viele verfluchen. Ich sag nur Block-Methoden.
Da ich hier aber eine Schleife habe, kann ich wann immer ich möchte abbrechen.

Edit
mein Problem mit dem CopyFileEx-Callback ist, dass ich nicht weiß wie ich die kopierten Bytes hochzählen kann.

Delphi-Quellcode:

TInterlocked.Add(OverallBytesCopied, ....); // TotalFileSize, TotalBytesTransferred, StreamSize, StreamBytesTransferred ?

Bei einer Datei könnte ich OverallBytesCopied := TotalBytesTransferred; schreiben. Aber bei mehreren geht das nicht denke ich.

Delphi-Quellcode:

procedure CopyCallBackTEST(TotalFileSize, TotalBytesTransferred, StreamSize, StreamBytesTransferred: Int64; dwStreamNumber, dwCallbackReason: DWORD; hSourceFile, hDestinationFile: THandle); stdcall;
begin
 if dwCallbackReason = CALLBACK_CHUNK_FINISHED then
  begin
   if not CancelCopy then
    begin
     TInterlocked.Add(OverallBytesCopied, ...);
    end;
  end;
end;

Result := CopyFileEx(PChar(Source), PChar(Dest), @CopyCallBackTEST, nil, @CancelCopy, 0);

[p80286]

Wenn Du schon weißt was Du willst, dann nutz es doch:
http://www.pinvoke.net/default.aspx/kernel32.CopyFileEx

Falls Du mehr Performance willst, dann mußt Du erst einmal alle möglichen Scenarien aufbauen, z.B. Copy auf ein und der selben Festplatte, copy von Festplatte1 auf Festplatte2 usw.
Und dann für jedes Deiner Scenarien eine eigene Routine schreiben.
(Ob da jetzt der (Daten)Bus oder der Festplatten-Controler der Flaschenhals ist, ist dann Thema für den 3.Grad)
Übrigens konnte man früher SCSI-Festplatten Vom SCSI-Controler kopieren lassen. Da ging die Luzy wirklich ab. War nur ein wenig aufwendig die Parameter richtig zu bestimmen. Und war nicht ganz trivial.:twisted:
Die beim Kopiervorgang eingesparte Zeit hat den Programmieraufwand nie aufgewogen.

Wenn Du nicht eine ganz spezielle Anwendung im Sinn hast, dann laß das Betriebssystem seine Arbeit machen.

Gruß
K-H