Dateien teilen zusammenfügen mit MMF

[Luckie]

Der liebe Christian hat mir damals etwas geschrieben, womit man Dateien teilen kann mit Hilfe vom Memory Mapped Files. Jetzt bin ich endlich dazugekommen, mir das mal genauer anzukucken. Ich wollte meinen FileSplitter verbessern und ich hege die Hoffnung, dass es mit MMF schneller geht.

Nur habe ich jetzt das Problem, dass ich davor stehe und eigentlich nicht so richtig weiß, wie ich damit Teilstücke lese und diese dann schreibe bzw. wie ich ganze Dateien lese (die geteilten) und diese dann wieder zusammenfüge.

Desweitern dachte ich mit wäre eine Callback oder so ganz interessant, um den Fortschritt anzuzeigen beim Teilen und Zusammensetzen.

Wenn mir da noch jemand unter die Axeln greifen könnte? :angle2:

Im Anhang das was Christian schon gemacht hat. Ich habe es so umgebaut, dass man ohne die SysUtils auskommt.

[tommie-lie]

Das mit dem Mapping funktioniert folgendermaßen:
Eine Datei auf der Platte wird in den Shared Memory gelesen (gemapped), wo sie für mehr als eine Anwendung schnell zugreifbar ist (zugreifbar?).
Mit MapViewOfFile kannst du deinem Process einen View von der Datei erzeugen, mit bestimmten Sichtbereichen usw. Diesen Speicherbereich (im eigenen process, erzeugt von MapViewOfFile) kannst du dann dereferenzieren und nach belieben beschreiben und von Lesen (oder auch beides *g*). Wenn du fertig bist, kannst du mit FlushViewOfFile die Änderungen aus deinem eigenen kleinen Speicherbereich in die physikalische Datei auf der Festplatte speichern.

Um also eine Datei zu lesen und in mehrere Bereiche zu splitten müsstest du:

• Die Datei nach Christians Beispiel in den Speicher mappen
• Dir einen View auf diese Map holen (entweder die gesamte Datei auf einmal, oder nacheinander die geünschten Einzelstücke)
• die Bruchstücke der Datei entweder in eine zweite Map speichern und diese Flushen, oder in eine normale Datei speichern

Da du nur sequenziell liest (und sequenziell schreibst) bezweifle ich, daß es schneller wird, IMHO würden sich MMFs erst lohnen, wenn man oft Daten liest und wieder überschreibt, weil dabei der Speicher schneller ist als die Festplatte, da das bei dir nicht der Fall wäre, lohnt's sich vermutlich nicht.

Und das mit den Callbacks habe ich dir ja schon erklärt, ich bin mir sicher das es so geht und nicht anders, sonst wäre mein ganzen Weltbild im Eimer :roteyes:

[Luckie]

Du meinst also die physikalischen Zugriffe auf die Festplatte sind die entscheidende Bremsen?

Ideen wie man das ganze trotzdem etwas beschleunigen könnte?

[tommie-lie]

Nein.
Für einen Filesplitter musst du die Datei einlesen und Blöcke aus ihr sequenziell in viele andere, kleinere Dateien schreiben.
Wenn du jetzt die große Datei vorher im Speicher mappst, wird das vermutlich keinen großen Geschwindigkeitsvorteil bringen, weil die Datei ja immer noch vollständig gelesen werden muss.
Würdest du auf die Datei mehrmals schreiben wollen, zum Beispiel um Bildmaterial zu verändern, also Effekte auf Grafiken anwenden, z.B., würde das was bringen, weil du anstatt mehrmals in die Datei auf der Festplatte mehrmals in den Speicher schreibst, der ja bekanntlich schneller ist. Du liest (und schreibst) einen Bereich der Daten jeweils nur ein einziges Mal, also ist das nicht schneller, evtl sogar langsamer udn braucht sogar mehr Speicher, weil einmal Windows die Datei mapped und du deinen View darauf brauchst...