Alternative zu count einer XML Datei

[Takeo]

Hallo Community,

ich benutze Delphi XE2 und habe folgendes Problem:

Mein Programm öffnet eine XML Datei und durchsucht diese nach bestimmten Werten. Dabei wird die Anzahl der relevanten Nodes gezählt. Da die Datei aber über 150.000 Einträge hat benötigt der "Count" über 5min.

Gibt es eine alternative zu Count, damit ich mir diese Zeit sparen kann? Geht etwas in der Art, dass das letzte Element gelesen wird, ohne, dass er alles durchzählen muss und mir dann die "Zeilennummer" des letzten Elements sagt?

Vielen Dank im voraus!

Gruß Takeo

[Lemmy]

Hi,

bitte erzähl mal was "relevante" Knoten sind. Eine "Zeilenzahl" am Ende eines Dokument enthält typischerweise alles. Und zwischen "alles" und "relevant" gibt es einen kleinen aber feinen Unterschied....

[p80286]

Zitat von Takeo:

Da die Datei aber über 150.000 Einträge hat benötigt der "Count" über 5min.

Wenn ich "Einträge" mal mit "Zeilen" übersetze scheint mir da doch etwas Optimierungsbedarf vorhanden zu sein.

vllt. solltest Du auch den verwendeten Sourcecode mal zeigen.

Gruß
K-H

[mkinzler]

Ich würde eher auf Nodes tippen.

[Takeo]

Ok,
also die XML ist so aufgebaut, wie unten beispielhaft zu sehen ist (in echt ist die Liste viel länger und ausführlicher). Was ich möchte ist, dass ich alle Tags durchsuche und wenn der Name auf etwas bestimmtes zutrifft wird das Tag mit Name und Adresse gespeichert. Dies funktioniert alles und passt soweit.
Nur bisher benutze ich Node.ChildNodes.Count (Node ist eine Variable, die bis zum ChildNode['Tags'] gelenkt wird) um die Anzahl der Tags zu zählen und damit eine for-Schleife zu definieren.

Ich hoffe nun ist es klarer. Ich möchte das Count umgehen, weil dies die Hauptursache ist, die Zeit benötigt.

Meine Idee:
Es gibt eine Möglichkeit das letzte Tag zu finden, ohne eine Funktion, die Count irgendwo enthält. Dann kann ich mit einer While-Schleife meine Datei durchforsten, bis das letzte Tag da ist. Geht das und wenn ja, wie?


Zur Übersichtlichkeit:

Code:

<S7Project ScanTime="7/1/2014 12:50:01 PM" Name="dummy" Folder="dummy">
  <Programs>
    <Program Name="S7 Program" Folder="dummy" IPAddress="0.0.0.0" Topic="Test" SymbolID="7802" ID="2">
      <Tags>
        <Tag Name="Name1" Comment="Com1" S7Type="REAL" HWAddress="Address1"/>
        <Tag Name="Name2" Comment="Com1" S7Type="INT" HWAddress="Address2"/>
        <Tag Name="Name3" Comment="Com3" S7Type="INT" HWAddress="Address3"/>
      </Tags>
    </Program>
  </Programs>
</S7Project>

[Lemmy]

bitte lies dich doch hier mal ein:

https://de.wikipedia.org/wiki/XPath
https://de.wikipedia.org/wiki/XQuery

da gibt es auch entsprechende Umsetzungen für Delphi (je nachdem welche XML-Lib du verwendest) das sollte deutlich schneller gehen...

[Takeo]

Ich habe neue Erkenntnisse.. es lag nie an Count.

Sobald meine XML das erste Mal angesprochen wird hängt alles. Es muss wohl am Parser liegen.

@Lemmy sind deine 2 Beispiele schneller, als der Standard XML Parser von Delphi?

[Lemmy]

das sind 2 bzw. ist XPath die Grundlage von XQuery, Techniken die auf XML aufbauen. Haben nix mit dem Parser zu tun. bzw. nur in so weit, dass der es anbietet oder eben nicht..

[Takeo]

Achso ok.

Stimmt denn meine Vermutung, dass der Parser für die Geschwindigkeit verantwortlich ist?
Das Problem ist halt, dass diese XML Dateien meistens über 30 Mb haben. Die lassen sich nichtmal vernünftig mit dem Editor oder ähnlichem bearbeiten.
Wie kann ich also mein Problem in Griff bekommen?

Gruß Takeo

[himitsu]

- selber alle Knoten durchlaufen und dabei das Gewünschte manuell zählen
- oder z.B. via XPath filtern und dort das Count auslesen

Und ja, es gibt einige XML-Libs, die teilweise arschlahm sind. (z.B. MS-XML-DOM)