SearchSameFiles v2.0 (SSF)

[himitsu]

Beiträge zur Version 2 ab hier:
http://www.delphipraxis.net/internal...=663073#663073

aktueller Download immer noch im ersten (diesem) Beitrag


************************************************** *****************


Ich wollte nur mal ein kleines Programmchen vorstellen und nachfragen ob es für'n Anfang i.O. ist?
Außerdem würde ich gern wissen, ob sowas überhaut noch Jemand gebrauchen kann und ob's sich auch lohnt, wenn ich das noch weiterentwickeln würde.
>> Arbeitsspeicher, Geschwindigkeit/Durchsatz(KB/s) und was sonst noch wichig ist

Es vergleicht alle Dateien in dem angegebenen Verzeichnis und seiner Unterverzeichnisse miteinander und gibt am Ende eine Liste mit allen Dateien aus, welche den selben Inhalt haben.


Seit aber nicht all zu hart zu mir ... dieses ist nur so'n kleines Nebenprojekt und ich hatte halt nicht gerade viel Arbeitszeit reingestecken können.
Und das an der Optik/Bediehnung unbedingt noch einiges gemacht werden muß, ist mir bekannt.

Und dafür, daß es Funktionen meines "neuen" UCC verwendet und derzeit das 2. größere (NichtDemo)Programm ist, welches darauf aufbaut, lauffähig ist und anscheinend ohne Probleme läuft, bin ich erstmal damit zufrieden und die Hoffnung der baldigen UCC-Veröffentlichung steigt immer mehr in mir auf (na ja, 2 winzige Kleinigkeiten wurmen mich immernoch).


Intern basiert es ja auf meinem UCC und sonst ist da noch nicht so viel drin.

Zitat von SourceCode Counter von JLSoft Software:

SearchSameFiles.dpr 12 Zeilen 247 Byte 213 Zeichen
SearchSameFilesU.pas 220 Zeilen 7.9 KB 6190 Zeichen
[add]hat jetzt'n paar Zeilchen mehr ... sowar passiert halt, wenn man etwas aufrüstet -.-''

Verglichen werden die Dateien, aus Performancegründen, per CRC32.
Einen vorzeitigen Abbruch bekommt man über das nette [X].


Ach ja: im Moment werden weder Registry, noch irgendwelche anderen Einträge/Veränderungen in/an eurem System vorgenommen.
Es gibt also nur diese "kleine" EXE, welche wirklich nur nach gleichen Dateien sucht ^^



PS: ich hab durch dieses Programm gelernt, wie man die Speicherverwaltung des Heap aushebeln kann.
Durch die staren und nicht verschiebbargen Blöcke hatte ich auf Grund der 2 verwendeten Haupt-Arrays und mit lediglich 55.000 Vergleichsdateien ein massiges Speicherproblem bekommen.
Es gab also nach einer Weile einen kleine Exception (Out of Memory) ... na ja, über 300 MB RAM+Pagefile war wohl 'n bissl zuviel -.-''
Aber nach 'ner kleinen Optimierung bei den Arrays und Strings konnte einiges an Speicher eingesparrt werden (bei meinem Testlauf sind es jetzt nur noch rund 5 MB).
Und ein optimierteres SetLength brachte auch noch etwas Tempo mit rein.


Zum Schluß bleibt dann nur noch eine Überlegung:
Soll ich den Quellcode für dieses Programm ebenfalls veröffentlichen und in Ruhe zusehen, ob nicht zufällig jemand etwas mehr Zeit investieren kann und daraus vielleicht doch noch was großartiges macht?

[himitsu]

nja, seit 'ner Weile unterstütze ich zwar nativ nur noch Win2k und höher (alles drunter ist Zufall),
aber was die sache mit den Hartlinks betrifft ... es gibt eigentlich kein solches Programm, was diese beachtet und bei mir (wie du vielleicht am Popupmenü erkennen könntest) ist die Unterstützung dessen noch nicht vollständig enthalten

Zukünnftig sollen diese verlinkten Dateien zwar mit als "Duplicate" aufgelistet, aber als LINK markiert werden (plane ich zumindestens irgendwie so)

PS: hatte gestern mal ein paar andere Programme zum Vergleich herangezogen ...
also die 1-2 Anderen aus der DP sind ja OK, aber
* Duplicate Finder 3.5.3 = Sharewareschrott und gleich nach wenigen sekunden mit einem OutOfMemory verreckt (dabei hatte ich noch über 3 GB physischen RAM frei und und das Programm hatte grad mal 150 MB belegt)
* den Duplicate File Finder 3.5 hab ich nach 14,5 Stunden Laufzeit bei 64% abgebrochen (mein Programm und viele Andere) brauchen maximal 5 Stunden für die 970 GB á 300.000 Testdateien
('nen Blick mit FileMon zeigte, daß er selbst komplett unterschiedliche Dateien gleicher größer komplett einlaß und wohl erst am Ende das Ergebnis auswertete)

[add]
ach ja - in Post #35 den Anhang nochmals geändert ... ich hoffe jetzt klappt endlich mal die Synchronisierung zwischen den Daten und dem TreeView

und nicht über die Debuginfos der Titelleiste und am Anfang der Dateinamen im Tree wundern

[himitsu]

soooo,
nun versteckt sich mal in Post #35
eine Version ohne Debugausgabe, einem Text-Export (versteckt sich im HTML), einigen internen Änderungen, wie z.B.
- das Handling der Windows-File-Cache nähert sich langsam seinem Endstadium ... ab Windows XP wird jetzt der reelle freie Speicher (also der Wirkliche exclusive dem durch die FileCache belegte) beachtet und danach ein passender Lesemodus gewählt (unter XP gibt's diese Funktion noch nicht und darum wird dort nur der RAM ohne die Cache beachtet)

[himitsu]

Nach intensiverem Kontakt mit einem anderem User gab es nun ein paar kleinere Änderungen.

Vorallem würde es mich jetzt mal intereseiren, wie nun die Bediehnbarkeit des StartDialogs ausieht.
Also ob ihr damit klar kommt oder ob irgendetwas unbedingt verbesserungswürdig ist.

Ja und dann nicht wundern,
- die lokalisierten Pfad- und Dateinamen werden nun hoffentlich richtig angezeigt
- Hard- und Softlinks (Junctions) werden zwar ausgelesen und jeweils in [info2] angezeigt, aber noch nicht ausgewertet
- auch ist vieles im Kontextmenü des TreeView noch nicht aktiv und die Ansicht der TreeView ist noch nicht anpaßbar

ansonsten gab es
- viele Änderungen im Bereich XML (wobei dieses wohl nicht so auffällt, da es ja nur intern genutzt wird, abgesehn des OptionsSpeichernDialogs)
- die Speicherverwaltung frißt jetzt zwar zwei/drei MB mehr RAM, aber dafür ist sie nun noch flotter und für mich einfacher zu handhaben
- und natürlich alles, was mit LocaluzedNames und Hard-/Softlinks zu tun hat, ist neu

Download: SSF v3.0.463 (450 KB in Beitrag #35)

[edit]
ach ja, dieser Dialog (siehe Anhang) ist gemeint ... also nach Klick auf [start]

[himitsu]

an die 3-4 Tester:
im letzen Upload gab es einen "kleinen" Fehler,
durch welchen die ganzen Hashs garnicht berechnet wurden
und es zu den komischsten Ergebnissen kam.

z.B. wurden beim Schnellvergleich via Hash entweder zuviele Dateien erkannt oder auch Garkeine.

[edit 28.08. 19:00] Fehlerbehebung, siehe #44
D:\USB-Stick\Software+Hilfe\SearchSameFiles2\SearchSameFi les.7z

Danke an p80286 für den Hinweis.


Update: SSF v3.0.464 (450 KB in Beitrag #35)
und ich hoff es kläuft jetzt besser ... muß jetzt erstmal los und werd es dann nochmal in Ruhe Testen

nja, zum Glück sind die Lösch-Routinen noch nicht aktiv, also kann/konnte wenigstens nix Schlimmes passieren

[xZise]

Moin himitsu,
ich habe ein Programm gesucht was Dupletten findet und teste gerade die Version 3.

Zitat von himitsu:

nja, seit 'ner Weile unterstütze ich zwar nativ nur noch Win2k und höher (alles drunter ist Zufall),[...]

Dummerweise ist Win2k NT5.0 und NT6.X zumindest Windows Vista und Windows 7 (ich glaube auch Windows Server 2008).

MfG
Fabian