Ich vermute mal das dein Vergleich nicht bei ZWEI Streams/Dateien bleibt, d.h. das du später zB. 10 Dateien untereinander auf Gleichheit überprüfen willst.
Dann nehme eine Hash-Funktion wie du sie im
DEC hast. Erzeuge zu jeder Datei einen Hash und füge diesen in eine sortierte Liste ein. Bei 10 Dateien muss damit auch jede Datei nur einmal readonly eingelesen werden um deren Hash zu erzeugen. Dies ist mit zb. einem MD4 Hash ca. 250Mb/sec schnell. Bei einem Direktvergleich der Dateiinhalte würde man im schlechtesten Falle 10*9 komplette Dateivergleiche benötigen. Also viel mehr an Speicher/Dateioperation. Eine Hashfunkton hat im Gegensatz zu einer einfachen 32Bit CRC auch mit ca. 128Bit Prüfsumme eine weit weit geringere Gefahr von Kollisionen. D.h. wenn man eine CRC benutzt so ist die Wahrscheinlichkeit das zwei unterschiedliche Dateien denoch die gleiche CRC besitzen viel viel größer als bei einer Hashfunktion. Das Verhältnis dabei ist 1 zu 2^96.
Wichtig ist auch noch ein spezielles Verhalten ALLER Dateisysteme. Das Positionieren mit dem Dateizeiger -> Stream.Position und AUCH die Abfrage des Dateizeigers mit if Stream.Position ... then, ist um einiges langsammer als das lineare und sequentielle Lesen einer Datei. Es ist also sehr wichtig beim Einlesen der Daten aus einer Datei die Größe der Datei und die aktuelle Positon in die Datei in lokalen Variablen zu halten, statt sie mit Stream.Size oder Stream.Positon permanent live abzufragen. Der Performance-Unterschied kann 200-300% ausmachen !!
Gruß Hagen
Antwort
Zitat
Hybrid-Darstellung
