Eindeutiger Vergleich für große Dateien gesucht

[bigg]

@dahead:
natürlich nicht, war nur ne blöde anspielung auf die neue rechtschreibung, die nun in fast allen bundesländern anerkannt ist

@nico:

Zitat:

...dies lässt aber keinen Umkehrschluss zu

Inwiefern? Könntest du deine Aussage näher erläutern?

[nailor]

wenn der hashwert gleich ist, sind die dateien nicht sicher gleich. mit der chance von 1 zu "'The Matrix' hat in allen Belangen Recht" könnten die dateien auch grundverschieden sein. oder sich in dem einen wichtigen byte der datei unterscheiden... oder oder oder...

[NicoDE]

Zitat von bigg:

Könntest du deine Aussage näher erläutern?

Wenn die Prüfsummen gleich sind, müssen die Daten nicht identisch sein.

[mschaefer]

Moin moin,

also eins ist sicher, der binäre Vergleich ist relativ fehlerfrei zu programmieren. Mach für jede Datei einem Stream auf und lasse diese Byteweise durchlaufen. Jede Datei hat am Anfang eine gleiche Kennungs-Id (sagen wir zunächst 1). Unterscheidet sich eine Datei bekommt diese dann die nächste freie ID (hier:2) als zweite Variante. Eine weitere gleiche Datei in Variante 2 bekommt dann ebenfalls die 2. Da ein Stream bei grossen Dateien nicht die ganze Datei auf einmal einliset, ist das einfach und prinzipbedingt sicher.

Grüße // Martin

[bigg]

Das sehe ich auch so, aber habt ihr schonmal eine Kollision in einem der oben genannten Hash-Algos gefunden oder kennt ihr Seiten, die sich näher mit dieser Problematik auseinandersetzen?

[dahead]

Zitat:

oder kennt ihr Seiten, die sich näher mit dieser Problematik auseinandersetzen?

die hab ich vorhin z. b. entdeckt:

http://www.schneier.com/blog/archive...a1_broken.html

bzw. auf wikipedia gibt es auch infos zu den algorythmen:

http://de.wikipedia.org/wiki/Sicherer_Hash-Algorithmus

@mschaefer: ja, so wollte ich das auch angehen. bin noch am überlegen, wie ich das am besten in mein programm einbaue.

@all: danke für die zahlreichen antworten!

[mschaefer]

Moin, moin,

also würde mir da einen Treeview nehmen und in der Wurzel das Vergleichsdatum einsetzten. In der nächsten Hierachie die gefundenen Varianten und in der hierachie darunter die Dateinamen. Damit hat man dann einen AdHoc-Überblick.

Grüße // Martin

[dahead]

@mschaefer:

ja, das war jetzt nicht so gemeint, dass ich nicht weiß wie. die frage ist eher, wie ich das am besten in mein bestehendes programm einbaue. da muss ich noch eine geeignete möglichkeit finden.

am übersichtlichsten fände ich übrigens folgende struktur:

.........[ausgewählter ordner a]
.........|
.........`-> Datum (oder Hash) x
............ |
............ '-> Datei 1
............ '-> Datei 2
.........`-> Datum (oder Hash) y

.........[ausgewählter ordner B]
.........|
.........`-> Datum (oder Hash) x
............ |
............ '-> Datei 1
............ '-> Datei 2
.........`-> Datum (oder Hash) y

in der anlage ein screenshot, wie es bisher (md5) aussah. da sieht man auch das problem, was ich im aller ersten post ansprach.

wenn ich soweit bin und probleme haben sollte, mache ich besser einen neuen thread dazu auf. dennoch danke für den hinweis.

[mschaefer]

Moin, moin,

Mögen die Fachleute sich gerne melden, aber ich habe mal gelernt, das Hash-Algorithmen etwas für die Ablagevon Daten in Dateien mit wenigen aber gestreut liegenden Werten verwendet werden. Deine Dateien sind aber 100% gefüllt und damit ist der Hashwert kein geeignetes Instument für einen vollständigen Dateivergleich. Wenn es anders wäre hätten wir deutlich bessere Packprogramme zur Verfügung. Dein Beispiel belegt die Theorie - Gut so!
Hm wohl Zeit den Titel zu ändern.

Grüße // Martin



PS: Eigentlich kannst Du Deine Aufteilung beibehalten, Du mußt nur ein Feld "Varainte x" einbauen. Dafür kannst Du den Hashwert herausnehmen.

[dahead]

@mschaefer:

falls du mir damit sagen willst, dass man um dateien eindeutig identifizieren zu können, um einen binären vergleich des inhalts nicht umhinkommt, so ist das klar. das hat mir bereits WoGe sowie NiceDe gesagt.

allerdings benötige ich die hash-summe um einen schnelleren vergleich der einzelnen dateien durchführen zu können.

Zitat:

Dein Beispiel belegt die Theorie - Gut so! Hm wohl Zeit den Titel zu ändern.

was soll das heißen?

edit:

Zitat:

Varainte x

meinst du damit den algorythmus der checksumme?