Flottes Hash-Verfahren

[Aphton]

Ich vermute mal, dass es bei MD4 (zwar selten bis fast nie aber) öfter zu einer Kollision kommt - sprich Hash(A) == Hash(B).
Man hat für MD5 auch Kollisionen gefunden bzw es gibt soweit ich mich recht entsinne, Methoden, eine Kollsion speziell für einen Datenstrom zu finden.
Wie dem auch sei, ich schätze, sofern es dir um die Eindeutigkeit geht, müsstest du da großen Wert drauf legen.
Ich kann dir aber leider nicht sagen, welcher Hashing Algorithmus da in dieser Hinsicht am besten ist.
Edit: Kuck mal hier

[Aphton]

Achja, ich benötige für 962 mb (11 gleich große Dateien mit zufälligem, gleichverteiltem Inhalt - Entropie!) ca 2 sek (mit MD5).

Edit: Habs angehängt. Kann sein, dass mein Rechner stärker ist als deiner. Probiers selbst aus!

Edit2: Habe ich den Hagen geschlagen? Wie alt ist dieser Thread, wo er diese Zahlen gepostet hat? Wahrscheinlich ist das schon ein bisschen her und damals waren die Rechner evt. nicht so gut..

[ByTheTime]

Danke erstmal für die Antwort. Kannst du mal ein paar Kerndaten von deinem Rechner posten. Ich hab hier nur ein Laptop mit i5M, 4GB Ram. Nebenbei noch eine GT310M als Graka, was aber nebensächlich ist. Mit deiner Hashing.exe brauche ich 4,46 Sekunden. Morgen versuche ich das ganze nochmal an einem anderen System mit i5, 8GB Ram zu testen. Allerdings bin ich dann erstmal im Urlaub... Mal sehen ob ich es noch schaffe.

[Aphton]

Ups entschuldige mich, es war doch MD4 =/
Ich uploade mal mit MD5.

Mit md5 brauch ich im Schnitt um die 3 Sekunden.
(Achja, nicht wundern, dass da immer dieselben Daten generiert werden - es wird ein konstanter RandomSeed gesetzt damit über verschiedene Systeme hinweg verglichen werden kann!)

Edit:
Relevante PC Daten:
Desktop-Standrechner mit i7-2600 3.4 Ghz
8gb Ram und Win 7 64 Bit System.

[ByTheTime]

Das läuft bei mir sogar schneller durch: 3,74 Sekunden.

Edit: @jaenicke: Ich setzt mich morgen früh nochmal an einen flotten Rechner mit i5, 8GB Ram und SSD. Mal sehen was dabei herauskommt.

[Aphton]

Nun, das Hashen könnte man ja direkt im Hauptspeicher machen - wird dadurch natürlich um einiges schneller.. Aber da er es anders gemacht hat, wollte ich es genauso machen um für gleiche Verhältnisse zu sorgen

[sx2008]

Wie gross sind denn die Datenblöcke die durch MD4 oder MD5 gejagt werden?
Falls die Blöcke < 4kB sind wäre das der Flaschenhals.

[jaenicke]

Zitat von ByTheTime:

Ich hab hier nur ein Laptop mit i5M, 4GB Ram.

Dass das bei einer Notebookfestplatte deutlich länger dauert, ist ja zu erwarten... die schaffen oft nur um die 70 MiB/s maximal, selbst die schnellsten liegen bei rund 100 MiB/s. Deshalb bringen SSDs ja auch gerade bei Notebooks so viel.