himXML (gesprochen himix ML)

[himitsu]

wollt eigentlich nur mal die ersten Fortschritte eines vor kurzem längerem begonnen Projektes vorstellen

es ist "nur" eine weitere kleine XML-Klasse.

der Grund war eigentlich, daß mir andere XML-Projekte zu rießig sind
und MSMXL (TXMLDocument) nicht grad schnell.

[info]
aktuell entwickle ich unter D2009 und direkt kompatibel düfte es bis Delphi 2006 / Turbo Delphi sein

und Aufgrund einiger Anfragen versuch ich, sobald es da "gut" läuft, eine Extraversion weiter abwärtskompatibel zu machen ... mal sehn, bis wie weit runter das geht
[/info]
[add 04.01.2001] aktuell sieht es so aus, als wenn es schonmal bis zu D7 läuft [add/]

aktueller Post: http://www.delphipraxis.net/internal...116416#1116416 #193

• aktuell ab Delphi 2006 bzw. Turbo Delphi und auch für Delphi2009
  ab Windows 2000 und öfters mal in Windows 7 getestet
• zu den möglichen unterstützten Delphi-Versionen gibt es, Aufgrund häufiger Nachfragen, in Beitrag #191 eine kleine Zusammenfassung.
• Lizenzen: MPL v1.1 , GPL v3.0 oder LGPL v3.0
  es sollte also hoffentlich mit vielen anderen Lizenzen kompatibel sein
• arbeitet weitetgehend nach XML-Standard 1.0 (Fifth Edition)
  und Extensible Markup Language (XML) 1.1 (Second Edition)
• ist nicht validierend
• ein einzulesendes Dokument sollte aber möglichst "Well-Formed" (wohlgeformt) sein
• es wird nur der "Standard" unterstützt ... andere DTDs oder ähnliche Informationen werden nicht unterstützt
• also <!xyz text> wird zwar ausgelesen, aber "text" wird nicht auswertet
• <![CDATA[text]]> wird dagen natürlich behandelt
• <?xyz text ?> wird unterstützt, allerdings wird "text" geparst und in Parameter zerlegt (also wird es Probleme geben falls sich "text" mal nicht in Parameter zerlegen läßt)
  (nach XML 1.0 wird "text" eigentlich nicht zuerlegt im XML-Baum abgelegt, sondern nur XML-Prozessor-intern verarbeitet oder ignoriert)
• unterstützte Kodierungen (teilweise auch via BOM):
  UTF-7, UTF-8, UTF-16, ISO-10646-UCS-2 (littel endian), Unicode (big endian)
  ISO-8859-1 bis ISO-8859-9, ISO-2022-JP, EUC-JP, SHIFT-JIS und WINDOWS-1250 bis WINDOWS-1258
• UCS-4 (4 Byte-Unicode) wird nicht unterstützt,
  denn leider kann man immernoch nicht mit UCS4Char und UCS4String richtig arbeiten, vorallem da sie vollkommen inkompatibel zu den anderen Strings sind (bauen intern nur auf LongWord auf, statt auf einen "Char")
• im Gegensatz zu MSXML (TXMLDocument) kann die Kodierung stärker umgeschaltet werden
  (auch von ANSI/UTF-8 nach Unicode ... MSXML kann z.B. nur umschalten, wenn sich die Zeichengröße in Byte nicht ändert)
• arbeitet nur mit Klassen
  (eine Variante für sehr große Dateien und mit Interfaces aufgebaut, welche die Dateninhalte vorwiegend direkt in der Datei liest, speichert und ändert, kommt vielleicht irgendwann mal)
• eine Thread-Absicherung wurde letztendlich doch nicht direkt integriert,
  aber die CriticalSection wurde dringelassen und kann direkt verwendet werden:
  
  Delphi-Quellcode:

  XML._Lock;
  Try
    ... mach was mit dem XML ...
  Finally
    XML._Unlock;
  End;

• es muß nur jeweils eine Datei eingebunden werden
  himXML, himXMLi, himXML_UseDLL oder himXML_UseDLLi,
  jenachdem mit welcher Schnittstelle man arbeitet
  > wichtige Typen und Konstanten werden in den Dateien weitergeleitet, falls sie nicht in der entsprechenden Unit definiert sind
• ein kleiner Benchmark ist aber schon lauffähig:
  
  Delphi-Quellcode:

  // inklusive Zeitmessung siehe FormCreate
  
  XML := TXMLDocument.Create(Self);
  XML.Active     := True;
  XML.Version    := '1.0';
  XML.StandAlone := 'yes';
  XML.Encoding   := 'UTF-8';
  XML.Options    := [doNodeAutoIndent];
  XML.AddChild('xml');
  For i := 0 to 100000 do XML.DocumentElement.AddChild('Node' + IntToStr(i));
  XML.SaveToFile('test2.xml');
  XML.Free;
  
  // versus
  
  XML := TXMLFile.Create(nil);
  For i := 0 to 100000 do XML.RootNode.Nodes.Add('Node' + IntToStr(i));
  XML.SaveToFile('test.xml');
  XML.Free;

  Delphi-Quellcode:

  //10.000 Nodes (ergibt ca. eine 150 KB-Datei)
  
  TXMLDocument = fill:6749  save:99
  TXMLFile     = fill:  10  save: 7
  
  // 100.000 Nodes (ergibt ca. eine 1,5 MB-Datei)
  
  TXMLDocument = fill:708145  save:348  load:331
  TXMLFile     = fill:   189  save:150  load:319

  Zeiten in Millisekunden
  
  weitere Tests und Vergleiche (auch mit anderen Libs), siehe demos\CheckLibs.dpr
  wer keine Lust hat, vorallem wegen MSXML 'ne halbe Stunde ein Programm laufen zu lassen ... auf den nächsten Seiten befinden sich sporatisch die Testergebnisse verteilt
• "wichtige" Grundfunktionen von .RootNode wurden direkt in die Basisklasse (TXMLFile) umgelegt, sowie von .Nodes in dessen Mutterklasse (TXMLNode)
  
  .Node (.Nodes.Node[], .RootNode.Nodes.Node[] bzw .Nodes[], .RootNode.Nodes[]), .NodeNF (.Nodes.NodeNF bzw. .RootNode.Nodes.NodeNF), .NodeList (.Nodes.NodeList bzw. .RootNode.Nodes.NodeList), .NodeListNF (.Nodes.NodeListNF bzw. .RootNode.Nodes.NodeListNF) und AddNode (.Nodes.Add bzw. .RootNode.Nodes.Add)
  (in Groß siehe Beitrag #65)
• Pfadangaben sind möglich
  in Kurz also XML['node1\node2'] statt XML.RootNode.Nodes['node1'].Nodes['node2']
  ebenso können Parameter und Indizes im Nodepfad angegeben werden (siehe Hilfesektion in himXMLi.pas)
• es kann direkt eine Inline-Verschlüsselung genutzt werden
  einfach für den gewünschten Knoden zusweisen und alles via .Text und .Text_S wird automatisch beim Zuweisen/Auslesen ver-/entschlüsselt
  
  Delphi-Quellcode:

  Node.Crypted := '*';         // Standardverschlüsselung nutzen (erstes in der Liste)
  Node.Crypted := 'RC4';       // RC4 verwenden
  Node.Text := X;              // zuweisen und automatisch verschlüsseln
  X := Node.Text;              // automatisch entschlüsseln und auslesen
  If Node.Crypted <> '' Then   // nur prüfen ob es verschlüsselt ist
  If Node.Crypted = 'RC4' Then // prüfen ob es RC4 verschlüsselt ist
  
  XML.CryptData['RC4'] := S; // anderen Key für RC4 festlegen

  da die Verschlüsselungsroutine Zugriff auf die Node-Attribute hat, könnte man auch eine eigene Verschlüsselung zuweisen, welche z.B. über ein weiteres Attribut jeden Node mit einem eigenem Key verschlüsselt.
  
  Delphi-Quellcode:

  XML.Cryptors       // listet alle registrierten Verschlüsselungen auf
  XML.SetCryptor     // setzt/lösche eine Verschlüsselung
  XML.CryptProc      // siehe SetCryptor
  XML.CryptData      // siehe SetCryptor
  XML.CryptAttrName  // der Name des Attributes, welcher die aktive Verschlüsselung enthält

• • himXML.pas
    - die ganzen Klassen
  • himXMLi.pas
    - die zugehörigen Interfaces (sie spiegeln auch die Funktionalität der Klassen wieder .. nur da halt über TXML... statt IXML...)
    - und enthält auch eine "kleine" Hilfe-Sektion
  • himXML_Tools.pas
    - kleine Zusatzmodule:
    TSimpleAssocVariantArray - sehr einfaches String-assoziatives Array of Variant
    TXMLSerializeRecord_Creator - erzeugt eine Record-Definition für .Serialize/.DeSerialize von Records
    TXMLIniFile - verwendet eine XML-Datei wie eine INI und läßt sich auch wie IniFiles.TIniFile nutzen
    TXMLRegistry - das Gleiche, nur halt mit Registry.TRegistry
    TXMLDatabase - noch unfertig, soll aber irgendwann mal eine XML-Datei wie eine kleine SQL-DB nutzbar machen
  • demos\CheckLibs.dpr
    - einige Tests/Benchmarks zum Projekt und anderen XML-Libs
  • demos\CheckLib_UseDLL.dpr und demos\CheckLib_UseDLLi.dpr
    - das Gleiche, nur über ein externes himXML via DLLs (siehe weiter unten)
  • demos\Demo_Serialize.dpr
    - zeigt einiges zu den (De)Serialisierungsfunktionsn
  • demos\Demo_Tree.dpr
    - 'ne kleine Demo, wo eine XML-Datei in eine TreeView geladen und angezeigt wird
  • demos\SAXParser.dpr
    - hier wird eine kleine XML-Testdatei sequentiel geladen
  • DLLs\himXML_UseDLL.pas und DLLs\himXML_UseDLLi.pas
    - dieses sind die Schnittstellen-Units für die DLLs
    einmal als Objekte und das Andere (mit dem i) als Interfaces
    bei der Objektversion sind die Exceptions noch nicht umgeleitet, also möglichst welche vermeiden
    in der Interfaceversion funktioniert das Freigeben nochn nicht
  • DLLs\himXML_DLL.dpr und DLLs\himXML_DLLi.dpr
    - die zugehörigen DLLs
  • other\*
    - einige andere XML-Libs (verwendet in demos\CheckLibs* )
  • test files\*
    - einige "XML"-Dateien zum Testen

ansonsten bin ich für Tipps und Vorschläge dankbar

[add 13.03.2009]
ach ja falls der Name jemandem nich gefällt ... Beschwerden bitte an Matze richten

[add]
im Beitrag #193 wird etwas über die im Download mit enthalenen anderen XML-Libs geschrieben.


[add]
Achtung, beim Forenupgrad der DP sind die Dateikommentare verschwunden und die Dateinamen sind unglücklich importiert wurden.

himxml_246.7z = v0.9 21.05.2009
himxml_164.7z = v0.99d 12.01.2010
other.7z = 30.12.2010 (only the "other" directory)

[Zwoetzen]

Ach Platzhalter kann man auch verwenden? Wieder was dazu gelernt

Schnell mal getestet, und scheint wunderbar zu funktionieren. Danke für die Hilfe

[himitsu]

Jupp, das geht auch.

Du kannst dir auch einfach mal den kleinen "leicht" unvollständigen Help-Abschnitt ganz oben in der himXML.pas ansehn.

[Zwoetzen]

Da hatte ich extra nochmal reingeschaut gehabt, da ich mich erinnern konnte, dass es irgendwas mit * gegeben hat, aber da konnte ich nur

Delphi-Quellcode:

  //         Node['*:node']                         ignore namespace
  //         Node['name:*']                         first/all nodes with this namespace

finden. Deshalb dacht ichd ann, dass es '*' für komplett alle Knoten wohl nicht geben würde. Zumindest kommt es nicht direkt rüber, dass es eben * und ? als die bekannten Platzhalter gibt

(Vielleicht wurde die Hilfe auch schon erweitert, ich nutze aktuell die v0.98)

[himitsu]

Ohhh, ich dachte ich hätte es erwähnt.

[PhilCore]

Hallo himitsu,

ich habe mich hier halbwegs durch den Thread geackert, da ich auf der Suche nach einer zuverlässigen und zugleich schnellen Verarbeitung von XML bin.
Nun habe ich mir die v0.99 beta und die v0.9 runtegeladen und leider konnte ich gleich die erste Datei, die ich mit Demo_tree ausprobieren wollte nicht laden.

Der erste Versuch (v0.99 beta) lieferte mir nur eine undankbare Fehlermeldung mit line 0 und col 0.
Dann habe ich die Version 0.9 ausprobiert und siehe da, der Hinweis auf Zeile 44 meiner Datei.

An diese Stelle (Zeile 44) steht aber nichts, womit XML nicht klar kommt. Vielleicht ist dort noch eine kleine Lücke.
Main XML spy sagt: well formed und valid.

Ich hänge mal die verkleinerte Test-XML an, vielleicht kann der XML-Großmeister was dazu sagen.

Wäre schon toll, wenn wir dieses MSXML-Monster austauschen könnten.

[himitsu]

Zitat:

---------------------------
Demo_tree2
---------------------------
EXMLException (TXMLFile.ParsingTree):

unknown closing tag - node "links" is the last opened, but closing "link" is found

error at byte position 1.614 ("</link>
* </links>
</object>
</body>
</imf>" on line 44)

error at byte position 1.614 ("" on line 44)

error at byte position 1.614 ("" on line 44)

error at byte position 1.614 ("" on line 44)

error at byte position 1.614 ("" on line 44)
---------------------------
OK
---------------------------

XML-Code:

<links>
  <link>
    <IssuesLink/>
    <object_uid>

Das Problem ist erstmal, daß aus irgendeinem Grund die nachfolgenden Nodes nach <link> nicht als Unterknoten weitergeführt werden
und demnach wird dann gemeckert, als das </link> vorbeikommt, da dort kein offenes <link> vorhanden ist.

Den Grund kann ich so jetzt aber nicht rausfinden.
- hab hier kein Delphi
- und fahr diese Nacht auch noch für ein paar Tage weg. (hab 4 anstrengende Messetage vor mir)

Sobald ich dann wieder Zeit hab, werd' ich den bösen Fehler mal suchen ... zumindestens sieht es wie ein Fehler in meiner Lib aus ... deine Datei scheint wohl OK zu sein.


[edit]
Sag mal, hast du die XML mit einem der beiden Demo_Tree-Programmen geöffnet?
Konnte es grade auch nur mit diesen Testen, da ich nur diese, als einzige fertigkompilierte Programme, nutzen konnte.

Dort gibt es eine "böse" Zeile, welche für einen kompatibilitätztest mit HTML-Dateien noch vorhanden ist (diese sollte ich demnächst mal entfernen)
XML.ParsedSingleTags := 'meta|link|br|img'; Ein "link"-Node wird dadurch immer als "Single-Tag" angesehn ... also so als wäre er immer <link/>, selbst wenn <link> dasteht.

Entferne diese Zeile aus der Demo und kompiliere sie neu, danach sollte es hoffentlich gehn.
(kann's hier ja leider gerade nicht testen)


[merke]
Aber die Zeilenzählung in der Exceptionbehandlung muß ich mir dann auch mal ansehn, denn dieses "line 0 und col 0." sieht ja wohl nicht OK aus.

[samso]

Also SimpleXML kann die Datei problemlos einlesen

[Zwoetzen]

So, wird langsam Zeit für meine nächste Frage :p

Und zwar habe ich folgendes Problem: Ich brauche bestimmte Knoten, sagen wir <code>, die innerhalb von anderen Knoten sind. Am besten ein Beispiel:

Code:

<?xml version="1.0" encoding="utf-8" standalone="yes" ?>
<root>
   <parent>
      <child>
         <code name="will ich" />
         <code name="das auch" />
      </child>
      <child>
         <code name="auch" />
      </child>
   </parent>
   <parent>
      <child>
         <code name="will ich auch" />
         <code name="haben will" />
      </child>
   </parent>
   <code name="den will ich nicht" />
</root>

Ich will nun die <code> innerhalb von <parent> und <child> haben, und nur diese, dh. ganz unten das <code> will ich nicht mehr.

Aktuell habe ich eine 3fach verwendete Schleife, nicht gerade das Gelbe vom Ei. Auf Seite 13 oder so wurde .FindNodes() erwähnt, doch konnte ich damit nicht die gewünschten Knoten bekommen.

Delphi-Quellcode:

procedure Test;
var
  XML: TXMLFile;
  Node: TXMLNode;
  Codes: String;
  N1, N2, N3: TXMLNode;
begin
  XML := TXMLFile.Create;
  XML.LoadFromFile('C.\test.xml');

  // 3fache Schleife... Nicht schön, liefert aber das gewünschte Ergebnis
  for N1 in XML.NodeList['parent'] do
    for N2 in N1.NodeList['child'] do
      for N3 in N2.NodeList['code'] do
        Codes := Codes + sLineBreak + N3.Attributes['name'];

//  for Node in XML.FindNodes['parent\child\code'] do // Liefert nur den ersten <code>
//  for Node in XML.FindNodes['code'] do // Liefert logischerweise auch den letzten <code>, aber auch nicht alle anderen
//    Codes := Codes + sLineBreak + Node.Attributes['name'];
        
  ShowMessage(Codes);

  XML.Free;
end;

Die eigentliche Frage kannst du dir sicher schon denken: Gibt es einen hübscheren Weg als die 3fach-Verschachtelte Schleife, an die Knoten zu kommen? ^^
FindNodes() klingt ja nach dem, was ich suche, nur entweder kann ich es nicht richtig anwenden oder da ist noch ein Fehlerchen drin


MfG Zwoetzen

[himitsu]

Aktuell sind die Schleifen wohl das Beste.
Leider hat FindNodes wirklich ein paar "Macken".

Darum arbeite ich schon seit 'ner Weile an einer XPath-Variante,
aber leider hängt es da an einigen Stellen. (vorallem an einer RegEx-Anbindung, welche einige String-Vergleiche besser behandeln soll.)

.FindeNodes ohne Pfade sollte mit dieser Änderung bessere Ergebnisse liefern

Delphi-Quellcode:

Function TXMLNodeList.GetFindNodeArray(Name: TWideString): TXMLNodeArray;
  Var N:   TXMLNode;
    A, A2: TXMLNodeArray;
    i, i2: Integer;

  Begin
    //Result := nil;
    //N := NodeU[Name];
    //If Assigned(N) Then Begin
    //  SetLength(Result, 1);
    //  Result[0] := N;
    //End;
    {}Result := NodeList[Name];
    A := NodeList['*'];
    For i := 0 to High(A) do Begin
      A2 := A[i].FindNodes[Name];
      If Assigned(A2) Then Begin
        i2 := Length(Result);
        SetLength(Result, i2 + Length(A2));
        MoveMemory(@Result[i2], @A2[0], Length(A2) * SizeOf(TXMLNode));
      End;
    End;
  End;

XML.FindNodes['code'] findet zumindestens alle 6 Code-Nodes.

[Zwoetzen]

Nagut, dann bleib ich erstmal bei den Schleifen.

Auf Seite 12 unten klang es so, als seien diese Funktionen schon fertig, und entsprechend war ich vom Ergebnis etwas verunsichert.

Danke für die schnelle Auskunft