Eindeutiger Vergleich für große Dateien gesucht

[negaH]

Zitat:

ja, ich weiß. ich könnte sicherlich mit md4 noch was rausholen, verwende md5 halt wg. der entdeckten kollision

Ja in MD4 wurden Kollisionen entdecket, um exakt zu sein 1 Kollision konnteentdeckt werden. Aber, man benutzte dazu einen modifizierten MD4 Algorithmus der nur 64 Bit Komplexität besaß, der entscheidende Teile des Algorithmus'es (das Wort sieht irgendwie schei.e aus) deaktivert hatte. Diese Vorgehensweise ist durchaus üblich wenn man in rein akademischer Art ein Verfahren analysieren möchte. Nun, rein rechnerisch hätte bei diesem modifizierten MD4 denoch nicht diese Kollision auftreten dürfen, und ergo interpoliert man dies auf den originalen MD4 und behauptete das dieser "unsicher" sei.

Es ist also alles relativ, aber denoch reicht dieser Verdacht vollkommen aus um MD4 in der Kryptographie als tot zu erklären. Die Reaktion der Kryptographen ist also absolut verständlich denn 0.0000000000000000000000000000001 % Unsicherheit in einem Verfahren das 100% sicher sein sollteist einfach zu viel.

Aber für unsere Belange absolut irrelevant.

Gruß Hagen

[FriFra]

@negaH: Eben diese Wahrscheinlichkeiten sind nach meinen Erfahrungen/Tests "etwas" anders...
Wenn ich ein Programm habe, welches alle gefundenen gleichgroßen Dateien vergleichen soll, dann dauert das Erzeugen der jeweiligen Hashwerte deutlich länger als ein Bitweiser Vergleich, da sich die meisten "duplikate", trotz gleicher Größe erheblich unterscheiden. Es liegt auf der Hand, daß es länger dauern muß, einen Hashwert der gesamten Datei zu erzeugen, als einen kleinen Block bitweise zu vergleichen.
Ich hab es jetzt extra nochmal mehrfach getestet und MIT Hash ist es um ein vielfaches langsamer als ohne.

Natürlich ist es auch immer eine Frage der gewünschten/geforderten Anwendung. Für den Fall mit der Datenbank macht der Hashwert durchaus Sinn, zum reinen Dateivergleich eher nicht.

[negaH]

@FriFra:

ich kann deine Argumentation sehr wohl verstehen, eben weil ich exakt der Auffassung bin das es vom Set der verschiedenen Dateien abhängt. In meinem Falle gibt es Aufnahmen verschiedener Krankheitsherde im Bitmap Format. Somit sind sehr viele Dateien in gleicher Dateigröße vorhanden da das Bildformat stdandardisiert ist. Es gibt sogar viele Serienaufnahmen der gleichen Wunden und in diesem Falle kann ich garantieren das ich bei Tests eine wesentliche Performancesteigerung per Hashs erreichen konnte. Immerhin pro Bild ca. 4Mb Dateigröße und pro Packet neuer Bilder ca. 50-200 Dateien die zu archivieren sind. Da in mehreren Filialen die Bilder sehr häufig doppelt gespeichert sind erhöht sich bei Übernahme eines Klientens die Wahscheinlichkeit das Bilder doppelt archiviert werden enorm. Die Klienten werden häufig in mehreren Filialen parallel geführt und nur von Zeit zu Zeit deren Akten untereinander aktualisiert. Die Bilder sind in Datenbanken mit der Anamese zusammen gespeichert, man benötigt ja auch textuelle Informationen zu den Wunden. Und in dieser DB speicheren wir natürlich auch den Hash über die Bilder.
In meinem Falle wohl eine ideale Anwendung.

Aber auch Bildrachivierungsprogramme könnte von der Unit profitieren.

Gruß hagen

[himitsu]

OK, 's war doch nicht bei MD5, sondern bei CRC32:

DECUtil.pas Version 3.0
function CRC32(CRC: LongWord; Data: Pointer; DataSize: LongWord): LongWord; assembler;
268 Werte in Tabelle @CRC32 (67 Zeilen á 4 Werte)

CRC16 war OK, aber ob sowas noch bei anderen Tabellen vorliegt kann ich nicht mit Sicherheit sagen.

(na ja, ich hatte bei meinem MD5 einige Werte in Tabellen ausgelagert und hab da wohl etwas mit den Tabellen verwechselt ... aber da es normaler Weise keine Tabellen im MD5 gibt, blieb nur noch CRC übrig ^^)




Hab auch mal meine Hashdatei und die zugehörige Demo angehängt.
Und wie schon gesagt, läßt sie sich nicht einzeln verwenden, da ja noch einige Dateien fehlen.
(ich möchte halt dieses Dateien nicht veröffentlichen, solange ich weiß, dass darin etwas nicht stimmt)
Also, auf jeden Fall nicht funktionsfähig sind z.B. die xxxFile-Funktionen, aber wie man eine Datei ausließt und an xxxUpdate übergibt sollte ja bekannt sein ... die Basic-Funktionen sollten lauffähig sein.
(für 'nen einiger Maßen durchschittlichen Programmierer sollte es keine Probleme geben diese Datei, durch Löschung/Änderung der entsprechenden Funktionen, zum laufen zu bringen)

Aber wie mir weiter oben aufgefallen ist, hat Hagen nun doch einen ASM-Variante ... diese wird eventuell doch schneller sein, da ich nicht komplett auf Speed geproggt hab ... hatte mal vor 'ner Weile meine Codes, in Beziehung auf die Codegröße, etwas überarbeitet und durch die entstandenen Schleifen wurde es etwas langsamer ... gegenüber reinem Pascal kann sich die Geschwindigkeit bestimmt dennoch sehen lassen :mrgreen:



Ich bin im Moment damit beschäftig alle meine Dateien nochmal durhzusehen und bin zuversichtlich, dass die meisten Dateien in Ordnung sind.
Und wenn die wichtigsten Dateien OK sind, werd' ich endlich mal den ersten Teil hochladen können.

[negaH]

Zitat:

(ich möchte halt dieses Dateien nicht veröffentlichen, solange ich weiß, dass darin etwas nicht stimmt)

Du spielst damit auf versteckte Signaturen an ? Falls ja kann ich dich beruhigen, meine Signaturen liegen eher in der Art&Weise wie ich was programmiert habe, zb. in ASM Teilen richte ich Schleifen fast immer an 4 Bytes Grenzen aus und als Opcode-Lückenfüller baue ich dann eine 2 oder 3 Bytes große immer wiederkehrende Signatur ein. Das ist im Source offensichtlich erkennbar, aber auf Grund der Systematik und der Unwahrscheinlichkeit das dies andere Programmierer auch so machen, erkenne ich in disassemblierten Binaries schon mit hoher Wahrscheinlichkeit Codes von mir.

Innerhalb der wichtigen Daten der Hashs, Ciphers etc. kann und darf ich nichts zum Original verändern, das dürfte wohl klar sein.

Davon mal abgesehen, ich habe ja grundsätzlich garnichts dagegen das ein Programmierer von anderen Programmierern lernt, das ist sogar notwendige Bedingung um sich weiterzubilden. Ich habe nur was gegen Programmierer die unverschämt einen Source kopieren, relevante Stellen modifizieren und später als ihre Schöpfung ausgeben. Sprich sich mit den Federn Anderer schmücken. Besonders im kommerziellen Bereich gibt es Landstriche auf unserem Globus wo dieses Unrechtsempfinden stärker ausgeprägt zu sein scheint. Es gefällt mir zwar nicht aber aus meiner Erfahrung muß ich zugeben das in östlichen geographischen Lagen das stärker auftritt als in westlicheren Zeitzonen (obwohl ich selber ein Ossi bin). Einerseits habe ich echt offene und mitteilsamme Leute per Mail so kennen gelernt, zb. die Leute von ASPack (Russen) nutzten DEC einige Zeit lang und sendeten mir freiwillig eine freigeschaltete Vollverson zu, bedankten sich fürs DEC und fragten ausdrücklich nochmals nach ob sie es einbauen dürften. Im Readme.txt sogar ein Hinweis auf alle bebnutzten 3'rd praty Komponenten. Das waren keine Einzelfälle. Aber es gibt auch Negativbeispiele aus der gleichen Region.

Egal, tut ja eigentlich nichts zum Thread beitragen.

Gruß Hagen

[dahead]

Zitat:

das in östlichen geographischen Lagen

hätte jetzt eher auf die usa getippt.

Zitat:

Egal, tut ja eigentlich nichts zum Thread beitragen.

stört mich nicht.

[Sharky]

Hai Hagen,

sei doch bitte so nett und hänge den Code aus diesem Posting als Anhang an. Bei über 600 Zeilen Quellcode im Posting scrollt man sich die Flossen wund.

Danke :-)

[negaH]

Zitat:

hätte jetzt eher auf die usa getippt.

Nö kann ich eigentlich nicht sagen, oder sie tarnen es einfach besser. In die USA, England, Frankreich, Italien sogar Japan habe ich eigentlich gute und offene Kontakte. Es ist ja nicht so das DEC was besonderes wäre, es ist Freeware und kann frei genutzt werden. Es freut mich nur einfach wenn ich über so eine Arbeit nette Kontakte kennen lerne.

Die Amerikaner halten sich ziemlich zurück, das liegt aber an den besonderen Bedingungen die im Falle der Kryptographie dort herrschen. Besonders dramatisch ist es in Frankreich, da ist im grunde jegliche Form der privaten Nutzung von Kryptographie verboten, ergo lernte ich besonders solche Leute kennen die man als "Randgruppe" bezeichnen könnte, verstehst ? Die Italiener wierderum scheinen sich einen Dreck um Gesetze zu kümmern, bei denen heist es immer "no problem" ;) Japaner sind wiederum enorm höflich, schei. freundlich und trotzdem weiß man nie so recht woran man wirklich ist, weil sie teilweise ein bißchen "verspielt" scheinen.

Jo, ich bin froh ein Programmierer geworden zu sein.

Gruß Hagen

[negaH]

@Sharky,

das würde ich gerne tuen weil du absolut Recht hast, die DP bringt folgende Fehlermeldung

Zitat:

Du kannst einen Beitrag nach seiner Erstellung nur innerhalb von 1440 Minuten bearbeiten.

sollte ich jetzt beim Moderator nachfragen ?

Gruß Hagen

Edit: ups, DU bist ja der Moderator, nach Aussage des PHP-Script-Fehlers bitte ich dich also dies zu tuen ;)

[Sharky]

:oops: Habe ich doch tatsächlich die Edit-Sperre vergessen ;-)

Zitat:

Zitat von negaH

... Edit: ups, DU bist ja der Moderator, nach Aussage des PHP-Script-Fehlers bitte ich dich also dies zu tuen ;)

"Ich habe es getan"