himXML (gesprochen himix ML)

[himitsu]

wollt eigentlich nur mal die ersten Fortschritte eines vor kurzem längerem begonnen Projektes vorstellen

es ist "nur" eine weitere kleine XML-Klasse.

der Grund war eigentlich, daß mir andere XML-Projekte zu rießig sind
und MSMXL (TXMLDocument) nicht grad schnell.

[info]
aktuell entwickle ich unter D2009 und direkt kompatibel düfte es bis Delphi 2006 / Turbo Delphi sein

und Aufgrund einiger Anfragen versuch ich, sobald es da "gut" läuft, eine Extraversion weiter abwärtskompatibel zu machen ... mal sehn, bis wie weit runter das geht
[/info]
[add 04.01.2001] aktuell sieht es so aus, als wenn es schonmal bis zu D7 läuft [add/]

aktueller Post: http://www.delphipraxis.net/internal...116416#1116416 #193

• aktuell ab Delphi 2006 bzw. Turbo Delphi und auch für Delphi2009
  ab Windows 2000 und öfters mal in Windows 7 getestet
• zu den möglichen unterstützten Delphi-Versionen gibt es, Aufgrund häufiger Nachfragen, in Beitrag #191 eine kleine Zusammenfassung.
• Lizenzen: MPL v1.1 , GPL v3.0 oder LGPL v3.0
  es sollte also hoffentlich mit vielen anderen Lizenzen kompatibel sein
• arbeitet weitetgehend nach XML-Standard 1.0 (Fifth Edition)
  und Extensible Markup Language (XML) 1.1 (Second Edition)
• ist nicht validierend
• ein einzulesendes Dokument sollte aber möglichst "Well-Formed" (wohlgeformt) sein
• es wird nur der "Standard" unterstützt ... andere DTDs oder ähnliche Informationen werden nicht unterstützt
• also <!xyz text> wird zwar ausgelesen, aber "text" wird nicht auswertet
• <![CDATA[text]]> wird dagen natürlich behandelt
• <?xyz text ?> wird unterstützt, allerdings wird "text" geparst und in Parameter zerlegt (also wird es Probleme geben falls sich "text" mal nicht in Parameter zerlegen läßt)
  (nach XML 1.0 wird "text" eigentlich nicht zuerlegt im XML-Baum abgelegt, sondern nur XML-Prozessor-intern verarbeitet oder ignoriert)
• unterstützte Kodierungen (teilweise auch via BOM):
  UTF-7, UTF-8, UTF-16, ISO-10646-UCS-2 (littel endian), Unicode (big endian)
  ISO-8859-1 bis ISO-8859-9, ISO-2022-JP, EUC-JP, SHIFT-JIS und WINDOWS-1250 bis WINDOWS-1258
• UCS-4 (4 Byte-Unicode) wird nicht unterstützt,
  denn leider kann man immernoch nicht mit UCS4Char und UCS4String richtig arbeiten, vorallem da sie vollkommen inkompatibel zu den anderen Strings sind (bauen intern nur auf LongWord auf, statt auf einen "Char")
• im Gegensatz zu MSXML (TXMLDocument) kann die Kodierung stärker umgeschaltet werden
  (auch von ANSI/UTF-8 nach Unicode ... MSXML kann z.B. nur umschalten, wenn sich die Zeichengröße in Byte nicht ändert)
• arbeitet nur mit Klassen
  (eine Variante für sehr große Dateien und mit Interfaces aufgebaut, welche die Dateninhalte vorwiegend direkt in der Datei liest, speichert und ändert, kommt vielleicht irgendwann mal)
• eine Thread-Absicherung wurde letztendlich doch nicht direkt integriert,
  aber die CriticalSection wurde dringelassen und kann direkt verwendet werden:
  
  Delphi-Quellcode:

  XML._Lock;
  Try
    ... mach was mit dem XML ...
  Finally
    XML._Unlock;
  End;

• es muß nur jeweils eine Datei eingebunden werden
  himXML, himXMLi, himXML_UseDLL oder himXML_UseDLLi,
  jenachdem mit welcher Schnittstelle man arbeitet
  > wichtige Typen und Konstanten werden in den Dateien weitergeleitet, falls sie nicht in der entsprechenden Unit definiert sind
• ein kleiner Benchmark ist aber schon lauffähig:
  
  Delphi-Quellcode:

  // inklusive Zeitmessung siehe FormCreate
  
  XML := TXMLDocument.Create(Self);
  XML.Active     := True;
  XML.Version    := '1.0';
  XML.StandAlone := 'yes';
  XML.Encoding   := 'UTF-8';
  XML.Options    := [doNodeAutoIndent];
  XML.AddChild('xml');
  For i := 0 to 100000 do XML.DocumentElement.AddChild('Node' + IntToStr(i));
  XML.SaveToFile('test2.xml');
  XML.Free;
  
  // versus
  
  XML := TXMLFile.Create(nil);
  For i := 0 to 100000 do XML.RootNode.Nodes.Add('Node' + IntToStr(i));
  XML.SaveToFile('test.xml');
  XML.Free;

  Delphi-Quellcode:

  //10.000 Nodes (ergibt ca. eine 150 KB-Datei)
  
  TXMLDocument = fill:6749  save:99
  TXMLFile     = fill:  10  save: 7
  
  // 100.000 Nodes (ergibt ca. eine 1,5 MB-Datei)
  
  TXMLDocument = fill:708145  save:348  load:331
  TXMLFile     = fill:   189  save:150  load:319

  Zeiten in Millisekunden
  
  weitere Tests und Vergleiche (auch mit anderen Libs), siehe demos\CheckLibs.dpr
  wer keine Lust hat, vorallem wegen MSXML 'ne halbe Stunde ein Programm laufen zu lassen ... auf den nächsten Seiten befinden sich sporatisch die Testergebnisse verteilt
• "wichtige" Grundfunktionen von .RootNode wurden direkt in die Basisklasse (TXMLFile) umgelegt, sowie von .Nodes in dessen Mutterklasse (TXMLNode)
  
  .Node (.Nodes.Node[], .RootNode.Nodes.Node[] bzw .Nodes[], .RootNode.Nodes[]), .NodeNF (.Nodes.NodeNF bzw. .RootNode.Nodes.NodeNF), .NodeList (.Nodes.NodeList bzw. .RootNode.Nodes.NodeList), .NodeListNF (.Nodes.NodeListNF bzw. .RootNode.Nodes.NodeListNF) und AddNode (.Nodes.Add bzw. .RootNode.Nodes.Add)
  (in Groß siehe Beitrag #65)
• Pfadangaben sind möglich
  in Kurz also XML['node1\node2'] statt XML.RootNode.Nodes['node1'].Nodes['node2']
  ebenso können Parameter und Indizes im Nodepfad angegeben werden (siehe Hilfesektion in himXMLi.pas)
• es kann direkt eine Inline-Verschlüsselung genutzt werden
  einfach für den gewünschten Knoden zusweisen und alles via .Text und .Text_S wird automatisch beim Zuweisen/Auslesen ver-/entschlüsselt
  
  Delphi-Quellcode:

  Node.Crypted := '*';         // Standardverschlüsselung nutzen (erstes in der Liste)
  Node.Crypted := 'RC4';       // RC4 verwenden
  Node.Text := X;              // zuweisen und automatisch verschlüsseln
  X := Node.Text;              // automatisch entschlüsseln und auslesen
  If Node.Crypted <> '' Then   // nur prüfen ob es verschlüsselt ist
  If Node.Crypted = 'RC4' Then // prüfen ob es RC4 verschlüsselt ist
  
  XML.CryptData['RC4'] := S; // anderen Key für RC4 festlegen

  da die Verschlüsselungsroutine Zugriff auf die Node-Attribute hat, könnte man auch eine eigene Verschlüsselung zuweisen, welche z.B. über ein weiteres Attribut jeden Node mit einem eigenem Key verschlüsselt.
  
  Delphi-Quellcode:

  XML.Cryptors       // listet alle registrierten Verschlüsselungen auf
  XML.SetCryptor     // setzt/lösche eine Verschlüsselung
  XML.CryptProc      // siehe SetCryptor
  XML.CryptData      // siehe SetCryptor
  XML.CryptAttrName  // der Name des Attributes, welcher die aktive Verschlüsselung enthält

• • himXML.pas
    - die ganzen Klassen
  • himXMLi.pas
    - die zugehörigen Interfaces (sie spiegeln auch die Funktionalität der Klassen wieder .. nur da halt über TXML... statt IXML...)
    - und enthält auch eine "kleine" Hilfe-Sektion
  • himXML_Tools.pas
    - kleine Zusatzmodule:
    TSimpleAssocVariantArray - sehr einfaches String-assoziatives Array of Variant
    TXMLSerializeRecord_Creator - erzeugt eine Record-Definition für .Serialize/.DeSerialize von Records
    TXMLIniFile - verwendet eine XML-Datei wie eine INI und läßt sich auch wie IniFiles.TIniFile nutzen
    TXMLRegistry - das Gleiche, nur halt mit Registry.TRegistry
    TXMLDatabase - noch unfertig, soll aber irgendwann mal eine XML-Datei wie eine kleine SQL-DB nutzbar machen
  • demos\CheckLibs.dpr
    - einige Tests/Benchmarks zum Projekt und anderen XML-Libs
  • demos\CheckLib_UseDLL.dpr und demos\CheckLib_UseDLLi.dpr
    - das Gleiche, nur über ein externes himXML via DLLs (siehe weiter unten)
  • demos\Demo_Serialize.dpr
    - zeigt einiges zu den (De)Serialisierungsfunktionsn
  • demos\Demo_Tree.dpr
    - 'ne kleine Demo, wo eine XML-Datei in eine TreeView geladen und angezeigt wird
  • demos\SAXParser.dpr
    - hier wird eine kleine XML-Testdatei sequentiel geladen
  • DLLs\himXML_UseDLL.pas und DLLs\himXML_UseDLLi.pas
    - dieses sind die Schnittstellen-Units für die DLLs
    einmal als Objekte und das Andere (mit dem i) als Interfaces
    bei der Objektversion sind die Exceptions noch nicht umgeleitet, also möglichst welche vermeiden
    in der Interfaceversion funktioniert das Freigeben nochn nicht
  • DLLs\himXML_DLL.dpr und DLLs\himXML_DLLi.dpr
    - die zugehörigen DLLs
  • other\*
    - einige andere XML-Libs (verwendet in demos\CheckLibs* )
  • test files\*
    - einige "XML"-Dateien zum Testen

ansonsten bin ich für Tipps und Vorschläge dankbar

[add 13.03.2009]
ach ja falls der Name jemandem nich gefällt ... Beschwerden bitte an Matze richten

[add]
im Beitrag #193 wird etwas über die im Download mit enthalenen anderen XML-Libs geschrieben.


[add]
Achtung, beim Forenupgrad der DP sind die Dateikommentare verschwunden und die Dateinamen sind unglücklich importiert wurden.

himxml_246.7z = v0.9 21.05.2009
himxml_164.7z = v0.99d 12.01.2010
other.7z = 30.12.2010 (only the "other" directory)

[himitsu]

ich bin zwar dabei eine neue Hilfe zu basteln, aber das dauert noch ein bissl

aktuell ist aber einiges in Form einer Inline-Hilfe direkt in den Dateien
z.B. schau hierfür mal in die Unit himXML.pas (bzw. himXMLi.pas der alten Version) und klappe dort ganz oben die Region "Help" auf (der zweite ganz lange Kommentar) ... Delphi 2009 sollte die Regionen ja standardmäßig zugeklappt haben.

dort gibt es zu einigen Dingen schon eine kleine Erklärung
z.B.

Code:

//    Count        CountNF             -
//    Node         NodeNF        (1)   -
//    NodeU        NodeUNF       (1)   see .Node but node always not created, ...
//    NodeList     NodeListNF    (1)   -

Code:

// (1)  node names allowed paths, attributes and an index
//         "{\}{.\}{..\}{node...\}{nodeName}{>attr=value{>attr=value{...}}}{[index]}"
//
//         Node['\..\node']                       Owner.RootNode.Parent.Node['node']  aka  ...
//         Node['\node']                          Owner.RootNode.Node['node']  or  {first ...
//         Node['.\node']                         {Self.}Node['node']
//         Node['..\node']                        Parent.Node['node']
//         Node['node1\node2']                    Node['node1'].Node['node2']
//         Node['node>attr=value']                Node['node'] with Attributes['attr']='value'
//         Node['node>attr=value>attr2=value2']   Node['node'] with Attributes['attr']='value' and ...
//         Node['node[3]']                        NodeList['node'][3]
//         Node['[3]']                            Node[3]
//         Node['>attr=value']                    first of Node.Nodes with Attributes['attr']='value'
//         Node['>attr=value[3]']                 3rd of Node.Nodes with Attributes['attr']='value'
//         Node['*:node']                         ignore namespace
//         Node['name:*']                         first/all nodes with this namespace
//
//         Node['node1[2]\node2>attr=value[3]']   NodeList['node1'][2].NodeList['node2'][3] with ...
//
// (2)  attribut names allowed paths - see at (1)
//         "{nodePath}\attributeName"
//
//         Attribute['node\attr']                 Node['node'].Attribute['attr']

schwer wird es nur, da ich mein "System" versuche auszulagern, so daß es mal möglich sein sollte auch sowas wie XPath nachzurüsten, bzw. mein System durch ein Alternatives oder Userdefinierte auszutauschen.



also im Grunde sollte Node['tag1>attr=value'] funktionieren.

[Zwoetzen]

Danke, das hilft mir sehr weiter. Ich hatte zwar schon in die Dateien mal reingeschaut, auch die einzelnen Regions gesehen (wusste gar nicht, dass es sowas gibt ), aber nicht wirklich etwas zu diesen Bezeichnungen gefunden. Hab vielleicht nicht genau genug gesucht ^^

Zu dem "tag1>attr=value" werd ich nochmal genauer schauen, warum das nicht funktioniert hatte. Diese "Abkürzungen" find ich übrigens sehr gut gelungen, da kommt man auch in etwas größeren Dokumenten relativ schnell an den eigentlichen Tag, den man lesen möchte (Gerade wenn man nicht alle Informationen benötigt)

[himitsu]

Die Regionen sind schon 'ne praktische Sache, vorallem da man so auch Blöcke ausgeblendet bekommt, welche einem grade nicht "wichtig" sind und man so schneller und übersichtlicher an bestimmete Stellen kommt.

Nja, XPath und Dergleichen sind etwas mächtiger vom Funktionsumfang, aber für nette Kleinigkeiten ist mein winziges System auch schon zu gebrauchen.
Abgesehn davon, daß hier auch schneller über Hashtabellen gesucht wird ... hab die Nodes und Attribute extra dafür optimiert.



falls du Regionen auch mal selber nutzen willst...

Delphi-Quellcode:

{$IF X}{$REGION 'help'}{$IFEND}
...
{$IF X}{$ENDREGION}{$IFEND}

dieses {$IF X}...{$IFEND} kannst'e ignorieren, das hab ich nur drinnen, weil ältere Delphis keine Regionen kennen

Delphi-Quellcode:

{$REGION 'beliebiger Text'}
...
{$ENDREGION}

und beim Zusammenklappen wird dann nur noch der Text angezeigt ... ist praktisch das Selbe, was man mit Funktionen und Typen (Records/Klassen) machen kann, nur halt für größere Bereiche/Regionen

[Zwoetzen]

Danke für die Antwort, wenn es sich das nächste Mal anbietet, weiß ich jetzt, wie ich etwas mehr Übersicht hineinbringen kann

Ich habe jetzt auch die Zeit gefunden, das Problem mit dem Zugriff mit Attribut-Wert genauer zu untersuchen, und nun funktioniert das auch. Da muss mir wohl beim letzten Mal ein Fehler unterlaufen sein (Tippfehler oder ähnliches), dein Code funktioniert also wie er soll

[xZise]

Hallo himitsu!
Ich versuche gerade himXML in einem anderen Projekt einzusetzen.
Dabei stellt sich mir die Frage, wie komme ich an die Attribute eines Nodes.

Delphi-Quellcode:

procedure TTag.LoadFromFile(const AFilename: string);
var
  f : TXMLFile;
begin
  Parent := nil;
  // öffnen bla bla
  f := TXMLFile.Create;
  try
    f.LoadFromFile(AFilename);
    LoadFromNode(f['virtualroot\root']);
  finally
    f.Free;
  end;
end;

procedure TTag.LoadFromNode(const AXMLNode: TXMLNode);
var
  na : string;
  i, ty: Integer;
  t : TEntry;

  nds : TXMLNodeArray;
begin
  Name := AXMLNode.Node['name'].Text;
  nds := AXMLNode.NodeList['files\file'];
  for i := 0 to High(nds) do
  begin
    ty := nds[i]['@type'].Text;
    // Directory Node
    if (ty and 1) = 1 then
    begin
      t := TTag.Create;
      FChilds.Add(t);
      t.Parent := Self;
      TTag(t).LoadFromNode(nds[i]);
    end else
    begin
      t := TEntry.Create;
      FFiles.Add(t);
      t.Name := nds[i]['name'].Text;
    end;
    t.Hidden := (ty and 2) = 2;
  end;
end;

Die Datei sieht dabei so aus:

XML-Code:

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<taxs>
   <virtualroot>
      
      <root>
         <name>Root</name>
         <files>
            <!-- Filecontainer with "filetype"
               Bit   Meaning (if set)
               1   Directory
               2   Hidden -->
            <file type=1>
               
               <name>Sub</name>
               <files>
                  
                  <file type=3>
                     <name>HiddenSub</name>
                  </file>
                  <file type=1>
                     <name>Sub</name>
                     <files>
                        <file type=2>
                           <name>HiddenFile</name>
                           <original>C:...</original>
                        </file>
                     </files>
                  </file>
               </files>
            </file>
            <file type=0>
               <name>Filetest</name>
               <original>C:...</original>
            </file>
         </files>
      </root>
   </virtualroot>
</taxs>

Wenn ich nun die Zeile 28 ausführe um den Type des Nodes "taxs\virtualroot\root\files\file[0]" zu kommen.

Zitat:

---------------------------
text
---------------------------
[EXMLException] TXMLNodeList.Add:

invalid name ("@type")
---------------------------
OK
---------------------------

MfG
xZise

[himitsu]

Im Prinzip einfach dadurch, daß man auf die Eigenschaft .Attributes den jeweiligen Nodes zugreift
ty := nds[i].Attributes['type'];

[xZise]

Aha. Kann man das nicht irgendwie verkürzt schreiben?

Und jetzt habe ich ein ganz anderes komisches Problem. Und zwar wenn "LoadFromNode" gerade den "HiddenSub" Node abarbeitet, dann ist nds zwar "leer" (im Debugger steht: nds = ()), aber er geht trotzdem in die Schleife und scheitert dann grandios dabei das Attribut des ersten nicht vorhandenen Nodes auszulesen.

MfG
xZise

[himitsu]

Zitat von xZise:

Aha. Kann man das nicht irgendwie verkürzt schreiben?

Man kann nur ein Array-Property als Standard (Default) definieren und da hab ich nunmal überall .Nodes genommen, weswegen man bei .Attributes ausschreiben muß.

Zitat von xZise:

Und jetzt habe ich ein ganz anderes komisches Problem. ...

also bei meinem Test verzweigt er bei diesem Node nicht in die Schleife und es kommt auch zu keiner Exception



PS: was das Debuggen angeht ...
In der neuen Version ist dieses in meinem Projekt standardmäßig abgeschaltet. (noch nicht hochgeladen)
Und in der Beta läßt es sich über die Projektoptionen abstellen, dort einfach in den Bedingungen "hxNotDebugable" einfügen

> D2009 > Projektoptionen > Delphi-Compiler > Bedingungen

Dann läßt sich das eigene Programm einfacher debuggen, da nicht ständig im Einzelschritt in meine Units gewechselt wird.

[himitsu]

Hab hier mal 'nen noch ungetesteten Code zum Speichern und Laden eines TTreeView.

Gespeichert wird natürlich der .Text und die ganzen Subnodes ... also die ganze Baum-Struktur des Trees
und beim Rest kann man entschieden werden, was man speichern/laden will.
Da wären die ganzen Bildindize .ImageIndex, .SelectedIndex, .StateIndex, .ExpandedImageIndex
und .OverlayIndex, außerdem .Enabled und die Zustände .Selected, .Focused und .Expanded,
für jeden einzelnen Node.


Ein TVirtualStringTree wird auch bald folgen, dort wird .Data dann ebenso über einen Callback gespeichert und geladen.

Delphi-Quellcode:

Type TSTVProc   = Procedure(Node: TXMLNode; TVNode: TTreeNode);
  TSTVSavedData = Set of (ssImageIndex, ssSelectedIndex, ssStateIndex, ssExpandedIndex,
                    ssOverlayIndex, ssEnabled, ssSelected, ssFocused, ssExpanded, ssData);

Const ssDefault = [ssImageIndex..ssSelected, ssExpanded];

Procedure SerializeTreeView(Node: TXMLNode; TreeView: TTreeView;
  Save: TSTVSavedData = ssDefault; DataProc: TSTVProc = nil);

Procedure DeserializeTreeView(Node: TXMLNode; TreeView: TTreeView;
  Load: TSTVSavedData = ssDefault; DataProc: TSTVProc = nil);

benutzen

Delphi-Quellcode:

Var XML: TXMLFile;
  Node:  TXMLNode;

// speichern
XML := TXMLFile.Create;
Node := XML.AddNode('MyTreeView');
SerializeTreeView(Node, TreeView1);
XML.SaveToFile('file.xml');
XML.Free;

// laden
XML := TXMLFile.Create;
XML.LoadFromFile('file.xml');
Node := XML.Node['MyTreeView'];
DeserializeTreeView(Node, TreeView1);
XML.Free;

Dieser und ähnliche Codes werden allerdings wohl nie direkt im Projekt enthalten sein, da sie einfach zu speziell sind,
aber es ist eine kleine Abteilung auf der zukünftigen Webseite vorgesehn.



[edit]
der ganze Code kommt gleich wieder ... dann als Anhang in 'ner eigenen Unit
so, da isser wieder

[add]
nun auch getestet, etwas geändert und mit Beispiel, siehe Bild

[himitsu]

Bis auf ein paar interne Sachen wurden vorallem ein paar neue Property eingefügt.

FindNode, FindNodes, FindNodeNF und FindNodesNF sind nun in den NodeListen zu finden, sowie als Weiterleitung im RootDokument und den Nodes.

Diese sind fast das Selbe wie die Property Node und NodeList, nur daß sie die gewünscheten Nodes nicht NUR direkt im gewählten Node/Dokument suchen, sondern auch in allen SubNodes.

Als NodeName/Pfad kann hier die selbe Syntax verwendet werden, wie bei den normalen Nodes, wodurch man z.B. auch ganze Pfade suchen kann.

XML.FindNode['MeinNode'] würde also den ersten Node mit dem Namen "MeinNode" zurückliefern, welcher irgendwo innerhalb des RootNode oder seinen SubNodes rumliegt.

Für Einzelnodes (ohne Pfadangabe) wird dieses Verhalten demnächst auch in den "normalen" Node und Node-Listen verfügbar sein ... ich glaub ich werde dieses über das Präfix @ dort integrieren.