Zwei Verzeichnisse vergleichen und Vorschau anzeigen

[DieDolly]

Hier das besagte Thema, welches ich aufmachen wollte.
Ich habe uralten Code rumfliegen, der alle Dateien in zwei Verzeichnissen vergleicht. Das ist aber mehr als unperformant und sinnlos obendrein.
Davon kann ich keine Demo machen, weil es einfach zuviel ist und überall im Projekt mit eingeklinkt ist.

Es existieren zwei TStringListen. Der String ist der komplette Pfad zu einer Datei. Drangepapt ist ein Object (Record-Typ), welcher sämtliche zu einer Datei gefundenen Informationen enthält, Attribute, Dateigrößte und sowas. Es geht hier nicht drum, wie ich die StringListen fülle. Die sind existent und das Befüllen ist schnell genug.

Verzeichnis A enthält die Dateien 1, 2 und 4.
Verzeichnis B enthält die Dateien 1, 2 und 3.
Datei 4 soll später von A nach B kopiert werden.
Datei 3 aus B wird gelölscht, da sie nicht in A existiert.
Wenn Datei 2 aus A nicht identisch zu Datei 2 aus B ist, soll auch die kopiert werden.
Diese Logik bekomme ich auch noch hin (u.a. mit einer dritten, temporären Liste, die nur die Unterschiede zwischen A und B enthält).
Für die Dateien zu vergleichen und Unterschiede (Ja/Nein) festzustellen, habe ich bereits eine gute Lösung, welche nur 1 Zeile Code pro Aufruf braucht.

Aber jetzt kommt das Problem. Ich möchte eine Vorschau anzeigen die auflistet, was passieren wird.
Die Vorschau sollte hier also alle Dateien von A und B auflisten und verdeutlichen, dass Datei 4 von A nach B kopiert wird und Datei 3 aus B gelöscht wird.

Die Frage ist jetzt, wie zeigt man so eine Vorschau vernünftig an, ohne dass man die beiden Listen x-fach durchgehen muss um alle Informationen wie Datum und sowas jeder Datei von A und B anzuzeigen? Die Vorschau zeigt den Dateinamen, -größe und -datum.

Wenn in dieser Vorschau beispielsweise Datei 2 anzeigen möchte, werden für diese Datei 2 sämtliche Informationen (Dateidatum usw.) von Datei 2 aus A und Datei 2 aus B angezeigt.
Damit das möglich ist, gehe ich die Listen aber schrecklich oft durch, richtig ekelhafter Code. Das ist wie gesagt leider soviel, dass ich es hier nicht posten kann.
Wenn ich eine Datei X aus A in der Vorschau anzeige, brauche ich auch alle Infos von Datei X aus B und da sehe ich ein Problem, wenn ich die Listen nicht 100x durchgehen möchte.
Ich könnte auch einfach nur Datei 2 aus A mit Dateinamen, -größe und -datum anzeigen. Dann hätte man aber keinerlei Infos zur selben Datei aus B, die ja überschrieben wird.

Gibt es andere, bessere Vorschaumöglichkeiten um zu zeigen, was im Anschluss passiert, welche Dateien verarbeitet werden?

Falls meine EErklärung unverständlich ist, sagts einfach ich versuche dann besser oder anders zu erklären was ich suche. Das klingt aber bestimmt eh alles so kompliziert und unverständlich, dass dafür keiner eine Lösung hat.

[juergen]

Ich hatte das vor langer Zeit so gelöst, dass ich in der Vorschau nur den Dateipfad und den Dateiname aus meiner Objectlist hole und die Eigenschaften der Dateien dann in Echtzeit auslese. Das hatte bei mir performancetechn.. gereicht. Ich kenne natürlich deine genauen Anforderungen nicht

[DieDolly]

Das ist bei mir nur die Hälfte von dem was ich brauche.
Aktuell ist es so, dass ich in einer Zeile Die Datei + Name + Größe + Datum für A und B anzeige. Um an die Daten von B zu kommen muss ich mich mehrmals durch die Listen quälen.
Ich habe eine Prozedur die die Liste im Verzeichnis A durchgeht und eine Datei A mit jeder Datei B aus der zweiten Liste vergleicht.

Damit ich weiß welche Dateien aus B gelöscht werden müssen, gibt es eine zweite Prozedur die die Liste B durchgeht. Da wird jede Datei aus Liste B genommen und geguckt, ob sie in Liste A existiert. Das dauert bei vielen Daten 2 Stunden, da der ganze Code sehr sehr schlecht ist.

Wie macht man das effizienter, damit man auch in der Vorschau alles anzeigen kann? Der Vergleich im Allgemeinen damit ich weiß welche Dateien kopiert werden müssen, welche gelöscht werden müssen. Das ist so dumm ich weiß mittlerweile schon gar nicht mehr wo ich dran bin.

[Uwe Raabe]

Kannst du die beiden Listen sortieren?

[DieDolly]

Ja kein Problem. Die sind auch sortiert. Sind zwei ganz normale StringListen mit Objekt hinten dran. Ich könnte auch ein TDictionary nehmen mit Key = Dateipfad und Value das Record-Objekt das am Pfad hängt mit allen Attributen.

Das ist das ungefähr so

Delphi-Quellcode:

- Fülle Liste A mit Dateien aus Verzeichnis A
- Fülle Liste B mit Dateien aus Verzeichnis B

- Gehe Liste A durch
-- vergleiche jede Datei in Liste A mit der entsprechenden Datei in Liste B (das heißt es wird beispielsweise Datei C:\Quelle\diedatei.txt mit C:\Ziel\diedatei.txt verglichen)
--- Datei identisch? - Weiter zur nächsten Datei
--- Gibt es Unterschiede? - Erzeuge TTreeData-Daten für diese Datei für ein TreeView später (kommt in eine Liste)

- Gehe Liste B durch
-- nehme jede Datei in Liste B und prüfe, ob sie in Liste A vorhanden ist (das kostet sehr viel Zeit und ist bestimmt absoluter Blödsinn)
--- nicht vorhanden? - Datei soll also gelöscht werden, da sie im Quellordner nicht existiert, aber im Ziel
--- vorhanden? - jetzt wirds hässlich: suche in der TTreeData-Liste (siehe oben) den Datensatz von dieser Datei und füge dem Datensatz Dateigröße und Dateidatum von der Zieldatei an (die Zeile in der Vorschau hat jetzt alle Infos von der Quell- und Zieldatei)


Das was ich in B mache ist hässlich, nicht schön und dauert ewig. Aber ich nicht, wie ich sonst die Vorschau aufbauen soll. Die Daten in Echtzeit holen wenn die Vorschau sichtbar ist, ist aus Performancengründen unmöglich. So hatte ich es vorher.

[Uwe Raabe]

Wenn die sortiert sind, kann man da einfach sequentiell beide Listen iterieren:

Delphi-Quellcode:

      iA := 0;
      iB := 0;
      while (iA < A.Count) and (iB < B.Count) do begin
        fA := ExtractFileName(A[iA]);
        fB := ExtractFileName(B[iB]);
        if fA < fB then begin
          Writeln('copy: ', A[iA]);
          Inc(iA);
        end
        else if fA > fB then begin
          Writeln('delete: ', B[iB]);
          Inc(iA);
        end
        else begin
          Writeln('if diff ', fa, ' then copy ', A[iA], ' to ', B[iB]);
          Inc(iA);
          Inc(iB);
        end;
      end;
      while (iA < A.Count) do begin
        Writeln('copy: ', A[iA]);
        Inc(iA);
      end;
      while (iB < B.Count) do begin
        Writeln('delete: ', B[iB]);
        Inc(iB);
      end;

Wenn Unterverzeichnisse im Spiel sind wird es geringfügig komplizierter.

[DieDolly]

Ohje also diesen Code verstehe ich überhaupt nicht. Was passiert da? Und ja es sind Unterverzeichnisse mit drin aber das ist egal, weil ja eh schon alles in den Listen steht.

Delphi-Quellcode:

fA := ExtractFileName(A[iA]);
        fB := ExtractFileName(B[iB]);
        if fA < fB then begin

Alleine das verstehe ich schon nicht. Die Vergleiche der Dateien habe ich schon. Ich vergleiche dafür entweder das Dateidatum, -größe oder Inhalt (Hash).
Ich vergleiche immer eine Datei X aus Quelle mit Datei X aus Ziel. Also C:\Quelle\diedatei.txt mit C:\Ziel\diedatei.txt.

Wenn ich deinen Code und if fA < fB then begin richtig verstehe, wird hier einfach alles mit allem verglichen. Das ist nicht mein Ziel.

[Uwe Raabe]

OK, Schritt für Schritt. Und nehmen wir erstmal an, es wären keine Unterverzeichnisse im Spiel.

A und B sind die Stringlisten mit den kompletten Pfad-/Dateinamen. iA und iB verwenden wir als Index in die jeweilige StringList. fA und fB enthalten den reinen Dateinamen ohne den Pfadanteil (wie gesagt, Unterverzeichnisse im Moment noch außen vor).

Delphi-Quellcode:

      iA := 0;
      iB := 0;
      while (iA < A.Count) and (iB < B.Count) do begin

Die Schleife wird ausgeführt, solange beide Indizes noch gültige Einträge in den Stringlisten referenzieren.

Delphi-Quellcode:

        fA := ExtractFileName(A[iA]);
        fB := ExtractFileName(B[iB]);

extrahiert die Dateinamen aus den Pfadnamen.

Delphi-Quellcode:

        if fA < fB then begin
          Writeln('copy: ', A[iA]);
          Inc(iA);
        end

Die Listen sind sortiert und der aktuelle Dateiname aus A ist kleiner als der aus B. Das bedeutet, dass diese Datei in A noch nicht in B vorhanden ist. Also kopieren.

Delphi-Quellcode:

        
        else if fA > fB then begin
          Writeln('delete: ', B[iB]);
          Inc(iA);
        end

Der aktuelle Dateiname aus A ist größer als der aus B. Das bedeutet, dass die Datei in B nicht in A vorkommt. Also löschen.

Delphi-Quellcode:

        else begin
          Writeln('if diff ', fa, ' then copy ', A[iA], ' to ', B[iB]);
          Inc(iA);
          Inc(iB);
        end;

Die beiden Dateinamen sind gleich und existieren somit in beiden Listen. Jetzt müssen wir die Zusatzinformationen vergleichen um zu entscheiden ob die Datei aus A nach B kopiert werden muss.

Delphi-Quellcode:

      while (iA < A.Count) do begin
        Writeln('copy: ', A[iA]);
        Inc(iA);
      end;
      while (iB < B.Count) do begin
        Writeln('delete: ', B[iB]);
        Inc(iB);
      end;

Nach Ende der großen While-Schleife sind wir am Ende entweder von A oder B (oder beiden) angekommen und müssen gegebenenfalls noch die verbleibenden Einträge der anderen Liste verarbeiten. Einträge aus A werden kopiert, die aus B gelöscht.

[DieDolly]

Jetzt habe ich das verstanden. Ich bin noch nicht ganz sicher, in wiefern der Code ausartet wenn da Unterverzeichnisse reinkommen, die auch noch optional sind.
Ob Unterverzeichnisse oder nicht mit einbegzogen werden, wird schon früher entscheidet. Ziemlich genau an der Stelle wo die Listen befüllt werden.
Ich kann ja trotzdem mal versuchen eine Art Minidemo zu bauen. Aber ich weiß nicht wann weil dieser ganze alte Code geht mir so dermaßen auf die Nerven, dass es mir jegliche Lust geraubt hat überhaupt irgendwas mit Delphi zu machen.

[Delphi.Narium]

Werden die Unterverzeichnisse auch miteinander verglichen oder können die Inhalte der Unterverzeichnisse auch mit den Inhalten der darüberliegenden Verzeichnisse verglichen werden?

Gilt vom Prinzip:

Verzeichnis A mit Verzeichnis B vergleichen.

Unterverzeichnis A\1 mit Unterverzeichnis B\1
Unterverzeichnis A\2 mit Unterverzeichnis B\2

also so eine Art 1:1-Beziehung auf Verzeichnis-/Unterverzeichnisebene?

Dann nimm lieber Uwes Logik und vergleiche immer nur zwei Verzeichnisse, zwei Unterverzeichnisse (also Verzeichnisse Paarweise) miteinander, sorge also dafür, dass die Stringlisten immer nur den Inhalt jeweils eines Verzeichnisses / Unterverzeichnisses und des Gegenstückes enthalten.

Du brauchst dann zusätzlich nur eine Struktur, Liste, ... wie auch immer, in der Du quasi die bereits verarbeiteten bzw. die zu verarbeitenden Verzeichnisse verwaltest.

Oder so in etwa:

Rekursiv vom obersten Verzeichnis ausgehend rekursiv nach Verzeichnissen suchen und beim Auffinden eines Verzeichnisses genau und nur dieses mit dem "Gegenstück" vergleichen. (Analog zu einer Ereignisroutine bei einer Komponente -> OnVerzeichnis vergleiche genau dieses Verzeichnis.)

Und nicht: Erstmal alles sammeln und dann mal gucken, wie wir das dann irgendwie miteinander verglichen kriegen. Das wird (für meine Begriffe) zu komplex. Die zu implementierende Logik dürfte eher sehr schwierig werden, da sie ja (mehr oder weniger) linear eine rekursive / baumartige Struktur abbilden müsste.

Zitat von DieDolly:

Aber ich weiß nicht wann weil dieser ganze alte Code geht mir so dermaßen auf die Nerven, dass es mir jegliche Lust geraubt hat überhaupt irgendwas mit Delphi zu machen.

Bei sowas ist meine Devise: Ist das vorhanden nicht mehr mit vernünftigem Aufwand durchschaubar oder überarbeitbar oder einfach nur schlecht, die Aufgabenstellung ist aber klar definiert und verstanden:

Altes vergessen und von beginnauf nach eigenen Vorstellungen neumachen. Das ist tausendmal besser, als sich über Tage oder Wochen durch unpflegbaren Altcode zu quälen und zu hoffen, dass trotzdem was sinnvolles Neues dabei rauskommt.