Hohe Ressourcennutzung bei Verwendung von ZLIB (ZLIBEX)

[maanton]

Hallo !

Ich kämpfe gerade mit der ZlibEX in Delphi 6 herum . Hab auch schon im Netz gesucht... .

Problem : Mein Programm soll verschiedene, auch grosse Zip-Dateien (mit grossen Dateien drin) dekomprimieren können (> 1GB, spaeter eigenes "Format" > 2GB), der ausführende Rechner hat jedoch mit Sicherheit nicht soviel Speicher.

Performance ist hier nicht unbedingt ein Thema.
Essentiell ist, dass während des Entpackens dieses durch <ESC> abgebrochen werden kann (also Tastendruck, Aufruf MessageHandler,...) und Bildschirmaktualisierung (Laufbalken, Restzeit,...) durchgeführt wird.

Die Beispiele, welche ich gefunden habe arbeiten so (ich schenk mir jetzt den "Balast" drumherum):

...
var MemStream : TMemoryStream;
DateiStream : TStream;
Dekompr : TZDecopressionStream;
UnkompGroesse : integer;
sBuffer : string;
...
begin
// DateiStream.Create;
MemStream := TMemoryStream.Create;
if (ZipEintrag.GetComprDaten(MemStream) > 0 then begin {wenn Daten da und Init der internen Daten}
UnkompGroesse := ZipEintrag.SizeUncompressed;
Decompr := TZDecomressionStream.Create(MemStream); <- Hier Speicherbelastung
nGelesen := Decompr.Read(sBuffer[1],UnkompGroesse); {Lesen, Entpacken und in SBuffer schreiben}
DateiStream.Write(sBuffer[1],UnkompGroesse);
Decompr.Free;
end;
MemStream.Free;
// DateiStream.Free;
end;

Funktioniert fantastisch. Und alles in einem Rutsch. Leider wird hierbei das Memory des Rechners mit Speichergebrauch der Grösse der Daten belastet.

Wie geht sowas blockweise? Gibts dafür ein CodeSample und wenn ja wo?

Z.B.
...
//Grundeinstellungen : Positionieren auf Zip-Datei als TFilestream, Einlesen der Grunddaten
While not EndeZipeintrag()
// Lese 64k Block
// Dekomprimier ihn
// Abbruch prüfen, Bildschirm aktualisieren
// schreib raus
end;
// Aufräumen

Gruss

[stoxx]

Zitat:

Essentiell ist, dass während des Entpackens dieses durch <ESC> abgebrochen werden kann (also Tastendruck, Aufruf MessageHandler,...) und Bildschirmaktualisierung (Laufbalken, Restzeit,...) durchgeführt wird.

in einen eigenen seperaten Thread packen ...


und wenn alles gewünschte nicht klappt, ... bei ganz großer Lust kannst Du Dich ja mal selber an Zip versuchen

http://www.koders.com/delphi/fid6D05...789.aspx?s=zip

[Muetze1]

ZIP als Format und dessen Komprimierung ist nicht gleich der zLib!!!

[maanton]

Zitat:

ZIP als Format und dessen Komprimierung ist nicht gleich der zLib!!!

Korrekt; ungenau von mir ausgedrückt; jedoch egal, da ich auch die ZlibEx zum Packen verwende. Bei einer späteren Version werde ich die LocalFileHeader, ... ändern um >2 GB zu können. Damit bin ich dann inkompatibel zu Winzip, Winrar - ist auch egal, solange ich das nur richtig mache... .

Zitat:

in einen eigenen seperaten Thread packen ...

Funktion läuft schon in eigenem Thread. Wenn ich jedoch an meinen Thread eine message schicke, kommmt diese erst nach Abschluss der (Pack-/Entpack-)Prozedur an. Ich muss also während des Entpackens immer wieder mal die messages abarbeiten, damit ich diese Abbrech-Info in meinen Thread reinbekomme. Man kann das sicher auch anders machen, aber ich will es eigentlich "sauber" halten... .

Zitat:

...bei ganz großer Lust kannst Du Dich ja mal selber an Zip versuchen

Hab ich schon mal. Hat mich -damals unter DOS- "richtig" glücklich gemacht. (Im Endstadium mit Inline-Assembler und so). Wollt ich mir nicht unbedingt nochmal geben. Nerven und Zeitgründe. Daher auch Benutzung einer lib und Inspiration durch Anwendungs-Codesamples.
Die Bibliothek wird jedoch -anscheinend- immer mit Streams verwendet, obwohl - so scheint es mir - auch Funktionalitäten für "blockweises" Entpacken vorhanden sind.


Ich suche also ein Anwendungsbeispiel, welches die Lib mit "blockweisem" Entpacken verwendet.

[Union]

Ohne die ZLib intern genau zu kennen würde ich vorschlagen mit Chunking zu arbeiten. D.h. Du legst ein eigenes Envelope-Format fest und verwaltest Deine "Blöcke" selber:

Code:

Signatur
  Startadresse des übernächsten Blocks (0=letzter)
  ZLib-Komprimierte Daten

Das Schreiben wäre dann wie folgt:

Code:

Signatur schreiben
Solange Datei nicht zu Ende
   Teilstream aus Datei erzeugen und komprimieren
   Startadresse nächster Block aus Position und Länge schreiben
   Teilstream anhängen

Und das Lesen:

Code:

Signatur prüfen
Entkomprimierte Datei leer erzeugen
Solange Datei nicht zu Ende
   Startadresse nächster Block lesen
   Länge des komprimierten Blocks errechnen
   Komprimierten Block lesen
   Entkomprimieren und an entpackte Datei anhängen