Streams vergleichen?

[Sharky]

Zitat von shmia:

Einen Hashwert für jeden Stream zu ermitteln macht wenig Sinn, da zum Ermitteln des Hashwertes sowieso
der gesamte Stream gelesen werden muss!!!

Hai shmia,

dein Argument greift aber nur wenn es sich dabei um Dateien handelt. Kedariodakon hat ja nur danach gefragt zwei Streams zu vergleichen. Ergo müssen die beiden ja schon im Speicher sein

[Kedariodakon]

Es handelte sich um Datein, welche auch hätten etwas größer sein können
Konnte sie aber nun schön vergleichen...

Bye

[negaH]

Ich vermute mal das dein Vergleich nicht bei ZWEI Streams/Dateien bleibt, d.h. das du später zB. 10 Dateien untereinander auf Gleichheit überprüfen willst.
Dann nehme eine Hash-Funktion wie du sie im DEC hast. Erzeuge zu jeder Datei einen Hash und füge diesen in eine sortierte Liste ein. Bei 10 Dateien muss damit auch jede Datei nur einmal readonly eingelesen werden um deren Hash zu erzeugen. Dies ist mit zb. einem MD4 Hash ca. 250Mb/sec schnell. Bei einem Direktvergleich der Dateiinhalte würde man im schlechtesten Falle 10*9 komplette Dateivergleiche benötigen. Also viel mehr an Speicher/Dateioperation. Eine Hashfunkton hat im Gegensatz zu einer einfachen 32Bit CRC auch mit ca. 128Bit Prüfsumme eine weit weit geringere Gefahr von Kollisionen. D.h. wenn man eine CRC benutzt so ist die Wahrscheinlichkeit das zwei unterschiedliche Dateien denoch die gleiche CRC besitzen viel viel größer als bei einer Hashfunktion. Das Verhältnis dabei ist 1 zu 2^96.

Wichtig ist auch noch ein spezielles Verhalten ALLER Dateisysteme. Das Positionieren mit dem Dateizeiger -> Stream.Position und AUCH die Abfrage des Dateizeigers mit if Stream.Position ... then, ist um einiges langsammer als das lineare und sequentielle Lesen einer Datei. Es ist also sehr wichtig beim Einlesen der Daten aus einer Datei die Größe der Datei und die aktuelle Positon in die Datei in lokalen Variablen zu halten, statt sie mit Stream.Size oder Stream.Positon permanent live abzufragen. Der Performance-Unterschied kann 200-300% ausmachen !!


Gruß Hagen