Streams: existierende Daten entfernen / einfügen

[Dani]

Zitat:

Zitat von Luckie

Wenn du mitten reinschreiben willst, dann wird dir nichts anderes übrigbleiben, als ab der Stelle den Rest in einem memoryStream zwischenzuspeichern, deinen Datensatz reinschreiben und dann den gesicherten Rest wieder dranzuhängen.

Das ist nicht akzeptabel, ich kann doch nicht bei einem 100 MB großen Archiv mal eben 99,99 MB in den RAM auslagern, nur weil ich einen Kommentarstring im Header ändern will!? Gibt es denn gar keine andere Lösung?

[Jens Schumann]

Hallo,

Zitat:

Zitat von Dani

Zitat:

Zitat von Luckie

Wenn du mitten reinschreiben willst, dann wird dir nichts anderes übrigbleiben, als ab der Stelle den Rest in einem memoryStream zwischenzuspeichern, deinen Datensatz reinschreiben und dann den gesicherten Rest wieder dranzuhängen.

Das ist nicht akzeptabel, ich kann doch nicht bei einem 100 MB großen Archiv mal eben 99,99 MB in den RAM auslagern, nur weil ich einen Kommentarstring im Header ändern will!? Gibt es denn gar keine andere Lösung?

bei komplexeren Formaten würde ich nicht den klassischen Stream verwenden, sondern würde über das IStorage Interface gehen. Mit diesem Interface kann man innerhalb einer Datei ein "Dateisystem" anlegen. Man kann sich wie den Windows-Explorer vorstellen.
Das IStorage Interface gibt es schon so lange, dass es sogar in der Win32 Referenz, die mit Delphi geliefert wird beschrieben wird. Mit ein bißchen COM Kenntnissen und googeln sollte es nicht all zu schwierig werden.
Eine Datei mit Header mit Datenteil würde dann intern so aussehen

Code:

Root
  |----Header
  |----Daten

Man kann dann nur in den Header schreiben (so viel man möchte). Der Datenteil bleibt davon unberührt.

[shmia]

Zitat:

Zitat von mytar

Ich hab eine Datei, und öffne sie via Stream, nun möchte ich mit Seek() die entsprechende Position suchen, und dann was in den Stream einfügen, oder herauslöschen. Die Datei hab ich zuvor selbst erzeugt, ich kenne also die Dateistruktur.

Zitat:

Zitat von Luckie

Wenn du mitten reinschreiben willst, dann wird dir nichts anderes übrigbleiben, als ab der Stelle den Rest in einem memoryStream zwischenzuspeichern, deinen Datensatz reinschreiben und dann den gesicherten Rest wieder dranzuhängen.

Was Lucky sagt, ist so korrekt und daran führt kein Weg vorbei.
Theoretisch könnte man alle 8kByte (die Clustergrösse) weitere Cluster einfügen oder löschen.
Praktisch kannst du eine Datei auf Festplattenebene nicht manipulieren ohne sehr viel Aufwand zu betreiben.

Alle Dateiformate für Datenbanken gehen nun so vor, dass ein Block oder Datensatz als gelöscht markiert wird und neue Daten ans Dateiende geschrieben werden.
Nach einige Zeit enthält die Datei Löcher und kann wesentlich mehr Platz auf der Platte brauchen, als Nutzdaten vorhanden sind.
Dann ist eine Komprimierung der Daten fällig. (Nutzdaten werden in neue Datei kopiert, alte Datei geöscht und Neu -> Alt umbenamst)

Also denk dir mal ein schlaues Datenformat aus. Eine Archivdatei könnte z.B. folgenden Aufbau haben:

Code:

Datensatzname: string(32);
Nutzdatensize: integer;
blocksize: integer;      // immer > oder = Nutzdatensize
Flags: Cardinal;        // 1=gelöscht
[nutzdaten.....][evtl. unbenutzte Daten]

[Dani]

Dann werde ich mich mal in den Umgang mit dem IStorage Interface einarbeiten. Danke für den Tipp =)

[Muetze1]

Moin!

Naja, ich würde trotzdem Luckies Aussage abwandeln und sagen, das man sich ein temporäres Stream Objekt anlegt. Dabei ist der Typ dann die Sache des Programmierers. Wenn ich weiss, das es ein 100 MB Archiv ist, dann würde ich in einem TFileStream das ganze zwischenspeichern bzw. darin neu zusammenbauen. Bei deutlich kleineren Datenmengen wäre ein TMemoryStream angebracht. Es ist wirklich nicht ein Glanzstück mal schnell den Speicher mit 100 MB voll zu stopfen, so dass Windows vielleicht noch anfängt auf kleineren Rechnern erstmal stundenlang auszulagern. Da wäre dann der direkte Weg auf die Festplatte effizienter.

MfG
Muetze1

[mytar]

Ich denke diese IStorage-Interface ist eine gute Möglichkeit!

Wenns aber schnell umgeschrieben werden muss, ist eine temporäre Datei
auch sinnvoll.

Viele Compression-Tools machen es glaub ich auch auf diesem Weg!

[mytar]

Zitat:

Zitat von shmia

Alle Dateiformate für Datenbanken gehen nun so vor, dass ein Block oder Datensatz als gelöscht markiert wird und neue Daten ans Dateiende geschrieben werden.
Nach einige Zeit enthält die Datei Löcher und kann wesentlich mehr Platz auf der Platte brauchen, als Nutzdaten vorhanden sind.
Dann ist eine Komprimierung der Daten fällig. (Nutzdaten werden in neue Datei kopiert, alte Datei geöscht und Neu -> Alt umbenamst)

Nenn man so etwas die Datenbank reorganisieren?

Nur interesse halber?

[mytar]

*push* :)