Viele Dateien suchen und Informationen abgleichen

[Dragon27]

Hallo zusammen,

ich habe das Problem, dass ich sehr viele Dateien (ca. 15.000) auf der Festplatte suchen muss (gleicher Typ) und dann diese
mit einer Datenbank abgleichen muss.

Nun habe ich hier im Forum diese Procedure zum suchen verwendet und die Dateien dann gleich in ein Stringgrid geschrieben, danach
habe ich die Informationen im Stringgrid mit der DB abgeglichen (XML).

Nur leider ist das ganze sehr langsam. Also für 14.000 Dateien habe ich rund 30 Min. gebraucht und zum Ende hin ist das Einlesen und Vergleichen dann
immer langsamer geworden.

Ich habe mir nun überlegt, einen Record zu machen und diesen als Array zu deklarieren, dass ich vielleicht Zeit spare wegen dem Stringgrid. Bin mir aber da nicht sicher ob das viel ausmacht.

Könnt Ihr mir einen Verbesserungsvorschlag geben?

Danke!

[juergen]

Hallo Dragon27,

die Frage ist:
Benötigst du überhaupt eine visuelle Komponente?

Ich würde das Ganze in eine TStringList oder ggf. in TObjectList laden.
Ggf. diese vor deiner Compare-Methode zur DB noch sortieren.

[mjustin]

Zitat:

Zitat von Dragon27

Ich habe mir nun überlegt, einen Record zu machen und diesen als Array zu deklarieren, dass ich vielleicht Zeit spare wegen dem Stringgrid. Bin mir aber da nicht sicher ob das viel ausmacht.

Wenn die Stringverarbeitung wirklich der Engpass ist (und nicht die DB oder XML Verarbeitung), ist ein TStringBuilder eventuell der schnellste Datentyp für das Einlesen.

http://stackoverflow.com/questions/686413/

http://www.monien.net/blog/index.php...stringbuilder/

Den Text aus dem StringBuilder könnte man dem StringGrid zuweisen (wobei die Zeilen im StringBuilder jeweils ein Zeilenendezeichen haben müssen, sonst stehen die 15K Dateinamen in einer Zeile).

[himitsu]

XML selber ist auch nicht immer schnell (MSXML ist bei mir sehr langsam :wall: )

Und was das suchen angeht ... zwei Mal ~30.000 Dateien suchen, in eine gemeinsame Liste eintragen (bei mir je auf USB-Stick und Festplatte geht hier in weniger als einer Minute)

wenn dir FindAllFiles (in Verbindung mit TStringList) zu langsam ist, dann such selber und nutze eine bessere Liste.

[Christian Seehase]

Moin Dragon,

Zitat:

Zitat von Dragon27

... und zum Ende hin ist das Einlesen und Vergleichen dann
immer langsamer geworden.

hast Du dabei mal den Speicherverbrauch kontrolliert?

Das klingt für mich so, als würden immer mehr Objekte angelegt, gefüllt, verarbeitet, aber nicht wieder freigegeben.