Größere Anzahl von Exceldateien auswerten

[zeras]

Ich habe ein Programm, welches alle Exceldateien (gleicher Aufbau) eines Pfades einliest und dann Werte zwischenspeichert.
Derzeit sind das ca. 8000 Dateien und es dauert einige Stunden, bis das Programm durch ist.

Hier die Code Schnipsel

Delphi-Quellcode:

if OpenXlsWorkBook(fName, WSName, WBk, WS) then begin
  
....  
  KalkData.Kunde := WS.Cells.Item[arZellBezüge[Kunde, 1], arZellBezüge[Kunde, 2]].Value;
  
....  
  
   if WBk <> Nil then begin
    SaveChanges := Save;
    WBk.Close(SaveChanges, EmptyParam, EmptyParam, lcidXls);
    WBk := NIL;
  end;

Sieht hier jemand Optimierungsmöglichkeiten?

[hstreicher]

schreiben und lesen in Excel über Delphi ist ziemlich langsam ,
ich würde, wenn möglich, die Excel Datei als CSV abspeichern
und die CSV verarbeiten

mfg Hannes

[TiGü]

Eine richtige Datenbank zu verwenden scheitert an den Umständen/Kundenvorgaben?

[zeras]

Zitat von hstreicher:

schreiben und lesen in Excel über Delphi ist ziemlich langsam, ich würde, wenn möglich, die Excel Datei als CSV abspeichern und die CSV verarbeiten.

mfg Hannes

Die Dateien enthalten für andere Nutzer noch eingebettete Infos. Daher kann ich diese nicht in CSV speichern.

Zitat von TiGü:

Eine richtige Datenbank zu verwenden scheitert an den Umständen/Kundenvorgaben?

Das hatte ich schon einmal gefragt, ob man das nicht ändern kann. Aber da hängen wahrscheinlich noch so viele alte Zöpfe (oder Köpfe) dran. Für das Nachfolgesystem hat man dann eine Datenbank erstellen lassen.

Vielleicht merke ich mir intern (in einer DB) das Datum der jeweiligen Exceltabelle. Wenn sich dieses nicht geändert hat, dann brauche ich die Daten ja nicht erneut auswerten und ich kann mir das Laden einer Exceltabelle sparen.

[Bernhard Geyer]

Was genau ist bei dir langsam?
Das Speichern oder das Ändern der Werte in der Excel-Datei?
Wenn du viele Werte (in einem Excelbereich) änderst, dann ist evtl. das Arbeiten mit VariantArrays schneller

Alternativ gibts ein paar € aus und machst alles native in Delphi: https://www.tmssoftware.com/site/flexcel.asp

[zeras]

Zitat von Bernhard Geyer:

Was genau ist bei dir langsam?
Das Speichern oder das Ändern der Werte in der Excel-Datei?

Ich lese nur Daten aus den Exceltabellen aus. Immer an gleichen Stellen, immer die gleiche Anzahl und immer dasselbe Tabellenblatt. Nur, dass es ca. 8000 Exceldateien sind. Und es werden täglich einige mehr.

Zitat von Bernhard Geyer:

Wenn du viele Werte (in einem Excelbereich) änderst, dann ist evtl. das Arbeiten mit VariantArrays schneller

Das jeweilige Tabellenblatt hat benutzt 9 Spalten und 71 Zeilen. Könnte ich da das Array komplett einlesen und mir dann die entsprechenden Werte auslesen?
Derzeit kopiere ich jede Zelle, wie oben beschrieben. Das sind aber nur 13 Werte.

Zitat von Bernhard Geyer:

Alternativ gibts ein paar € aus und machst alles native in Delphi: https://www.tmssoftware.com/site/flexcel.asp

Das flexcel habe ich sogar. Meinst du, dass es dann schneller geht? Das wäre vielleicht ein weiterer Ansatz.

[stifflersmom]

Aber Du wirst doch nicht jeden Tag alle Dateien einlesen müssen, oder?
Also reicht es doch bestimmt aus, den letzten Zeitpunkt der Auswertung zu speichern und beim nächsten Durchgang nur die dateien zu verarbeuten, die eben nach diesem gemerkten Zeitpunkt erstellt/geändert worden sind.

[zeras]

Zitat von stifflersmom:

Aber Du wirst doch nicht jeden Tag alle Dateien einlesen müssen, oder?
Also reicht es doch bestimmt aus, den letzten Zeitpunkt der Auswertung zu speichern und beim nächsten Durchgang nur die dateien zu verarbeuten, die eben nach diesem gemerkten Zeitpunkt erstellt/geändert worden sind.

Ja, so in der Art fiel mir das vorhin auch ein.
Ich hatte erst einmal das Programm geschrieben, damit ich überhaupt an die Daten komme und nun habe ich bemerkt, dass es "ewig" dauert.

Wie Uwe oben beschrieben hat, kann ich ja auchmal flexcel versuchen. Aber das Merken der das Dateidatums wird wohl die schnellste Lösung sein.

[stifflersmom]

Zitat von zeras:

Wie Uwe oben beschrieben hat, kann ich ja auchmal flexcel versuchen. Aber das Merken der das Dateidatums wird wohl die schnellste Lösung sein.

Und der am wenigsten Fehlerrächtige, da Deine eigentliche Auswertungsroutine ja schon existiert und nicht an eine andere Schnittstelle wie Flexcel angepasst werden muss.

[Meino]

Flexcel ist um ein Vielfaches schneller als der Zugriff über OLE, besonders beim Schreiben. Man muss allerdings den Code umschreiben.

Wenn es nur ums Einlesen geht sollte das aber nicht aufwendig sein.
Einfach mal probieren. Der Code zum Einlesen und zum Verarbeiten ist getrennt?