himXML (gesprochen himix ML)

[himitsu]

wollt eigentlich nur mal die ersten Fortschritte eines vor kurzem längerem begonnen Projektes vorstellen

es ist "nur" eine weitere kleine XML-Klasse.

der Grund war eigentlich, daß mir andere XML-Projekte zu rießig sind
und MSMXL (TXMLDocument) nicht grad schnell.

[info]
aktuell entwickle ich unter D2009 und direkt kompatibel düfte es bis Delphi 2006 / Turbo Delphi sein

und Aufgrund einiger Anfragen versuch ich, sobald es da "gut" läuft, eine Extraversion weiter abwärtskompatibel zu machen ... mal sehn, bis wie weit runter das geht
[/info]
[add 04.01.2001] aktuell sieht es so aus, als wenn es schonmal bis zu D7 läuft [add/]

aktueller Post: http://www.delphipraxis.net/internal...116416#1116416 #193

• aktuell ab Delphi 2006 bzw. Turbo Delphi und auch für Delphi2009
  ab Windows 2000 und öfters mal in Windows 7 getestet
• zu den möglichen unterstützten Delphi-Versionen gibt es, Aufgrund häufiger Nachfragen, in Beitrag #191 eine kleine Zusammenfassung.
• Lizenzen: MPL v1.1 , GPL v3.0 oder LGPL v3.0
  es sollte also hoffentlich mit vielen anderen Lizenzen kompatibel sein
• arbeitet weitetgehend nach XML-Standard 1.0 (Fifth Edition)
  und Extensible Markup Language (XML) 1.1 (Second Edition)
• ist nicht validierend
• ein einzulesendes Dokument sollte aber möglichst "Well-Formed" (wohlgeformt) sein
• es wird nur der "Standard" unterstützt ... andere DTDs oder ähnliche Informationen werden nicht unterstützt
• also <!xyz text> wird zwar ausgelesen, aber "text" wird nicht auswertet
• <![CDATA[text]]> wird dagen natürlich behandelt
• <?xyz text ?> wird unterstützt, allerdings wird "text" geparst und in Parameter zerlegt (also wird es Probleme geben falls sich "text" mal nicht in Parameter zerlegen läßt)
  (nach XML 1.0 wird "text" eigentlich nicht zuerlegt im XML-Baum abgelegt, sondern nur XML-Prozessor-intern verarbeitet oder ignoriert)
• unterstützte Kodierungen (teilweise auch via BOM):
  UTF-7, UTF-8, UTF-16, ISO-10646-UCS-2 (littel endian), Unicode (big endian)
  ISO-8859-1 bis ISO-8859-9, ISO-2022-JP, EUC-JP, SHIFT-JIS und WINDOWS-1250 bis WINDOWS-1258
• UCS-4 (4 Byte-Unicode) wird nicht unterstützt,
  denn leider kann man immernoch nicht mit UCS4Char und UCS4String richtig arbeiten, vorallem da sie vollkommen inkompatibel zu den anderen Strings sind (bauen intern nur auf LongWord auf, statt auf einen "Char")
• im Gegensatz zu MSXML (TXMLDocument) kann die Kodierung stärker umgeschaltet werden
  (auch von ANSI/UTF-8 nach Unicode ... MSXML kann z.B. nur umschalten, wenn sich die Zeichengröße in Byte nicht ändert)
• arbeitet nur mit Klassen
  (eine Variante für sehr große Dateien und mit Interfaces aufgebaut, welche die Dateninhalte vorwiegend direkt in der Datei liest, speichert und ändert, kommt vielleicht irgendwann mal)
• eine Thread-Absicherung wurde letztendlich doch nicht direkt integriert,
  aber die CriticalSection wurde dringelassen und kann direkt verwendet werden:
  
  Delphi-Quellcode:

  XML._Lock;
  Try
    ... mach was mit dem XML ...
  Finally
    XML._Unlock;
  End;

• es muß nur jeweils eine Datei eingebunden werden
  himXML, himXMLi, himXML_UseDLL oder himXML_UseDLLi,
  jenachdem mit welcher Schnittstelle man arbeitet
  > wichtige Typen und Konstanten werden in den Dateien weitergeleitet, falls sie nicht in der entsprechenden Unit definiert sind
• ein kleiner Benchmark ist aber schon lauffähig:
  
  Delphi-Quellcode:

  // inklusive Zeitmessung siehe FormCreate
  
  XML := TXMLDocument.Create(Self);
  XML.Active     := True;
  XML.Version    := '1.0';
  XML.StandAlone := 'yes';
  XML.Encoding   := 'UTF-8';
  XML.Options    := [doNodeAutoIndent];
  XML.AddChild('xml');
  For i := 0 to 100000 do XML.DocumentElement.AddChild('Node' + IntToStr(i));
  XML.SaveToFile('test2.xml');
  XML.Free;
  
  // versus
  
  XML := TXMLFile.Create(nil);
  For i := 0 to 100000 do XML.RootNode.Nodes.Add('Node' + IntToStr(i));
  XML.SaveToFile('test.xml');
  XML.Free;

  Delphi-Quellcode:

  //10.000 Nodes (ergibt ca. eine 150 KB-Datei)
  
  TXMLDocument = fill:6749  save:99
  TXMLFile     = fill:  10  save: 7
  
  // 100.000 Nodes (ergibt ca. eine 1,5 MB-Datei)
  
  TXMLDocument = fill:708145  save:348  load:331
  TXMLFile     = fill:   189  save:150  load:319

  Zeiten in Millisekunden
  
  weitere Tests und Vergleiche (auch mit anderen Libs), siehe demos\CheckLibs.dpr
  wer keine Lust hat, vorallem wegen MSXML 'ne halbe Stunde ein Programm laufen zu lassen ... auf den nächsten Seiten befinden sich sporatisch die Testergebnisse verteilt
• "wichtige" Grundfunktionen von .RootNode wurden direkt in die Basisklasse (TXMLFile) umgelegt, sowie von .Nodes in dessen Mutterklasse (TXMLNode)
  
  .Node (.Nodes.Node[], .RootNode.Nodes.Node[] bzw .Nodes[], .RootNode.Nodes[]), .NodeNF (.Nodes.NodeNF bzw. .RootNode.Nodes.NodeNF), .NodeList (.Nodes.NodeList bzw. .RootNode.Nodes.NodeList), .NodeListNF (.Nodes.NodeListNF bzw. .RootNode.Nodes.NodeListNF) und AddNode (.Nodes.Add bzw. .RootNode.Nodes.Add)
  (in Groß siehe Beitrag #65)
• Pfadangaben sind möglich
  in Kurz also XML['node1\node2'] statt XML.RootNode.Nodes['node1'].Nodes['node2']
  ebenso können Parameter und Indizes im Nodepfad angegeben werden (siehe Hilfesektion in himXMLi.pas)
• es kann direkt eine Inline-Verschlüsselung genutzt werden
  einfach für den gewünschten Knoden zusweisen und alles via .Text und .Text_S wird automatisch beim Zuweisen/Auslesen ver-/entschlüsselt
  
  Delphi-Quellcode:

  Node.Crypted := '*';         // Standardverschlüsselung nutzen (erstes in der Liste)
  Node.Crypted := 'RC4';       // RC4 verwenden
  Node.Text := X;              // zuweisen und automatisch verschlüsseln
  X := Node.Text;              // automatisch entschlüsseln und auslesen
  If Node.Crypted <> '' Then   // nur prüfen ob es verschlüsselt ist
  If Node.Crypted = 'RC4' Then // prüfen ob es RC4 verschlüsselt ist
  
  XML.CryptData['RC4'] := S; // anderen Key für RC4 festlegen

  da die Verschlüsselungsroutine Zugriff auf die Node-Attribute hat, könnte man auch eine eigene Verschlüsselung zuweisen, welche z.B. über ein weiteres Attribut jeden Node mit einem eigenem Key verschlüsselt.
  
  Delphi-Quellcode:

  XML.Cryptors       // listet alle registrierten Verschlüsselungen auf
  XML.SetCryptor     // setzt/lösche eine Verschlüsselung
  XML.CryptProc      // siehe SetCryptor
  XML.CryptData      // siehe SetCryptor
  XML.CryptAttrName  // der Name des Attributes, welcher die aktive Verschlüsselung enthält

• • himXML.pas
    - die ganzen Klassen
  • himXMLi.pas
    - die zugehörigen Interfaces (sie spiegeln auch die Funktionalität der Klassen wieder .. nur da halt über TXML... statt IXML...)
    - und enthält auch eine "kleine" Hilfe-Sektion
  • himXML_Tools.pas
    - kleine Zusatzmodule:
    TSimpleAssocVariantArray - sehr einfaches String-assoziatives Array of Variant
    TXMLSerializeRecord_Creator - erzeugt eine Record-Definition für .Serialize/.DeSerialize von Records
    TXMLIniFile - verwendet eine XML-Datei wie eine INI und läßt sich auch wie IniFiles.TIniFile nutzen
    TXMLRegistry - das Gleiche, nur halt mit Registry.TRegistry
    TXMLDatabase - noch unfertig, soll aber irgendwann mal eine XML-Datei wie eine kleine SQL-DB nutzbar machen
  • demos\CheckLibs.dpr
    - einige Tests/Benchmarks zum Projekt und anderen XML-Libs
  • demos\CheckLib_UseDLL.dpr und demos\CheckLib_UseDLLi.dpr
    - das Gleiche, nur über ein externes himXML via DLLs (siehe weiter unten)
  • demos\Demo_Serialize.dpr
    - zeigt einiges zu den (De)Serialisierungsfunktionsn
  • demos\Demo_Tree.dpr
    - 'ne kleine Demo, wo eine XML-Datei in eine TreeView geladen und angezeigt wird
  • demos\SAXParser.dpr
    - hier wird eine kleine XML-Testdatei sequentiel geladen
  • DLLs\himXML_UseDLL.pas und DLLs\himXML_UseDLLi.pas
    - dieses sind die Schnittstellen-Units für die DLLs
    einmal als Objekte und das Andere (mit dem i) als Interfaces
    bei der Objektversion sind die Exceptions noch nicht umgeleitet, also möglichst welche vermeiden
    in der Interfaceversion funktioniert das Freigeben nochn nicht
  • DLLs\himXML_DLL.dpr und DLLs\himXML_DLLi.dpr
    - die zugehörigen DLLs
  • other\*
    - einige andere XML-Libs (verwendet in demos\CheckLibs* )
  • test files\*
    - einige "XML"-Dateien zum Testen

ansonsten bin ich für Tipps und Vorschläge dankbar

[add 13.03.2009]
ach ja falls der Name jemandem nich gefällt ... Beschwerden bitte an Matze richten

[add]
im Beitrag #193 wird etwas über die im Download mit enthalenen anderen XML-Libs geschrieben.


[add]
Achtung, beim Forenupgrad der DP sind die Dateikommentare verschwunden und die Dateinamen sind unglücklich importiert wurden.

himxml_246.7z = v0.9 21.05.2009
himxml_164.7z = v0.99d 12.01.2010
other.7z = 30.12.2010 (only the "other" directory)

[himitsu]

Von den üblichen/"unterstützten" Codierungen nur das, da Windows ein bissl rumzickt und ich dafür keine eigene (De)Codierung integriert hab.

So wie du es jetzt hast, wird das UTF-16 mit durch's UCS2 (Unicode) geschleift. Und solange keine "exotischen" höheren Zeichen über #32767 vorkommen sollte es keine Probleme geben.

Ansonsten ist im aktuellen Code keine Objekt-Serialisierung vorhanden, da es einige Problemchen mit der Deserialisierung gab.
Records und Variants können aber serialisiert werden, wobei die Recordserialisierung demnächst auch noch um die Möglichkeiten der neuen Delphi 2010-RTTI aufgemotzt wird.

Wobei ich derzeit das ganze Projekt umgestalte, da endlich das Problem der sich selbsthaltenden Kreizreferenzen bei Interfaces gelöst ist und somit Interfaces wieder verwendet werden können ... dafür gibt es hier auch eine "coole" selbsentwickelte Neuerung, wo ich die Interfaces ein bissl "mishandle".

[RWarnecke]

Das hört sich ja richtig gut. Bin schon auf die neue Version gespannt.

[geskill]

hey himitsu,
benutze deine XML Lib nun schon eine Weile, bislang habe ich diese immer direkt ins Programm eingebunden, jedoch benutze ich in meinem Programm viele Plugins, wodurch sich eine bpl zur Zentralen Einbindung der Komponente lohnte. Nun klappts jedoch nicht mehr so richtig mit dem lesen und schreiben. Ich nutze die hoffentlich aktuelle v0.99d.

Wenn ich z.b. eine XML Datei speichern möchte (existiert bereits, ANSI Codiert, nur XML Header enthalten [<?xml version="1.0" ?>] ) kommt dieser Fehler:

Zitat:

[EXMLException] TXMLFile.SaveToStream:
invalid value

TXMLFile.AssembleTree:
error on line 0 and col 22 (at byte position 0)

TXWriter.SetVer:
unknown xml version

Mit diesem Schnippsel hat es eigentlich immer ganz gut geklappt:

Delphi-Quellcode:

  XMLDoc := TXMLFile.Create;
  try
    with XMLDoc do
    begin
      LoadFromFile(WebsiteSettingsFile);
      // Active := True;
      Options := Options + [xoNodeAutoIndent];
      DefaultTextIndent := #9;
    end;

    // optionen setzten

    XMLDoc.SaveToFile(WebsiteSettingsFile);
  finally
    XMLDoc.Free;
  end;

Das komische ist auch, dass es beim ersten mal klappt, wenn ich dann jedoch die Datei nochmal abspeichern will bekomme ich diesen Fehler -,-

[himitsu]

Kann's hier nicht ausprobieren.
Werd' es mir aber die nächsten Tage mal ansehn, wenn ich wieder daheim bin.

Nja, aktuell ... joar, von den öffentlichen Versionen ist es schon die Aktuelle.

Aber ertsmal sehn woran es liegt, vom Leseverhalten, hat die interne Version, theoretisch keine großen Änderungen diesbezüglich bekommen.
(bin "nur" dabei den Kern, also sozusagen die internen Verwaltungssachen komplett umzustellen und die Schnittstelle/Interfaces ein bissl zu optimieren)

[Medium]

Moin Himi!

Erstmal ganz ganz heissen Dank für dieses Prunkstück! Damit lässt sich wirklich komfortabel arbeiten.

Bis auf...
Ich möchte ganz gerne zwei (benachbarte) Nodes vertauschen, jedoch habe ich Probleme mit der Insert()-Funktion. Diese lässt scheinbar die Fäden des eingefügten Nodes baumeln, oder so etwas in diese Richtung. Ziel ist es einen Node nach oben oder unten wandern lassen zu können.

Delphi-Quellcode:

// Alle Nodes haben ein Attribut "ID", welches in den Tags der Listbox-Items wieder auftaucht.
// Dadurch kann ich querindizieren, egal was wo in welcher Liste genau an welcher internen Array-
// Position steht.
var
  n, f: TXMLNode;
  fi, iid, fiid: Integer;
begin
  iid  := lbElements.ListBoxItems[lbElements.ItemIndex].Tag; // ID-Attribut des Nodes zum selektierten Listbox-Eintrag ermitteln
  fiid := lbElements.ListBoxItems[lbElements.ItemIndex+1].Tag; // Auch die ID des in der Listbox folgenden Eintrags
  n := CurrentFrameXML.RootNode.Nodes['#Element>ID='+IntToStr(iid)]; // Node zur ID finden
  f := CurrentFrameXML.RootNode.Nodes['#Element>ID='+IntToStr(fiid)]; // Auch zum nächsten

  fi := CurrentFrameXML.RootNode.Nodes.IndexOf(f); // Index im internen Array zum Folgeknoten ermitteln
  CurrentFrameXML.RootNode.Nodes.Insert(CurrentFrameXML.Nodes.CloneNode(n), fi); // An diese Stelle eine Kopie von "n" einfügen
  CurrentFrameXML.RootNode.Nodes.Delete(n); // Das alte "n" killen
  XMLToListBox(CurrentFrameXML); // Die flache knotenstruktur in ne LB werfen
end;

Das ganze funktioniert nur so lange, wie der Folgeknoten "f" nicht schon vorher einmal verschoben wurde! Dann nämlich wird dieser in der Zeile "fi := ..." nicht mehr gefunden, und die gesamte Struktur ist dahin. (Der Node an sich wird gefunden, sein Index allerdings nicht mehr.) Genauer gesagt wird dann an Index -1 ge-inserted, wodurch nur noch dieser Node in der Liste ist. So als würde der RootNode geleert, und dieser als einziger eingefügt.

Die Listbox wird in der Reihenfolge des internen Arrays vom RootNode befüllt, so dass in der Listbox benachbarte Einträge auch im RootNode benachbarten Knoten entsprechen sollten.

Wat ist da los? Oder geht das 100x einfacher, und es ist für mich nur zu spät geworden heut abend?

[xZise]

Moin Medium,
irgendwie fehlt mir das einfügen des Knoten f. Aktuell schreibst du vor den Knoten f den Knoten n. Aber den Knoten f setzt du nicht an die Position, wo der Noten n vorher war oder?

MfG
Fabian

[Medium]

Da es ja ein Insert(), kein Replace() ist, sollte der ja eigentlich einfach nur verrutschen

[xZise]

Moin,
wenn du allerdings in der Liste mehrere Nodes zwischen n und f hast.
Zum Beispiel:

Code:

abc n opq f ghi

Dann sieht das danach so aus:

Code:

abc n opq n f ghi

Code:

abc opq n f ghi

Aber ein austauschen sieht für mich so aus:

Code:

abc f opq n ghi

MfG
Fabian

[Medium]

Das ist nicht gegeben. n unf f stehen sowohl in der Listbox, als auch im XMLNode direkt hintereinander. Dessen bin ich mir sicher, da ich die Listbox bei jeder Änderung im XML immer frisch aus dem Node befülle, und dabei nicht auf XMLNode.NextNode zurückgreife, sondern wirklich per Index durch XMLNode.Nodes[i] iteriere. f ist immer der Folgeknoten von n (deswegen f ).
Auf diese Weise habe ich mit TList auch schon öfter gearbeitet, was okay war. Die Funktion die ich damit realisieren will ist einfach, dass man mit 2 Buttons "hoch" und "runter" ein Item pro Klick um einen Platz rauf oder runter wandern lassen kann. Dies innerhalb der Listbox allein reicht jedoch nicht, sondern muss schon in der Datenhaltung darunter ebenfalls passieren, dem XML.

Edit: Um das eigentliche Problem nochmal zu verdeutlichen: Ein via Insert() eingefügter Node wird nachher nicht mehr im Array des Elternknotens gefunden. Sowohl ParentNode.IndexOf(n) als auch n.Index liefern -1, obgleich ich den Knoten per n := ParentNode.Nodes['#NodeName>Attribut1=aValue'] ermittelt habe.

Meine Verschiebung geht daher, aber auch nur, wenn kein beteiligter Knoten zuvor schon ein mal verschoben wurde.

Besonders ärgerlich dabei: Ein Haltepunkt in der Insert() Funktion in der himXML.pas wird zur Laufzeit deaktiviert. Ich kann also garnicht nachvollziehen, was da genau passiert - oder auch nicht Sogar mit F7 reinsteppen tut nicht, der Debugger hüpft einfach drüber.

[himitsu]

@geskill: kommst auch gleich dran

@Medium:
die 1 vor die 3 verschieben

Delphi-Quellcode:

n := XML.RootNode.Nodes['#Element>ID=1'];
f := XML.RootNode.Nodes['#Element>ID=3'];
XML.RootNode.Nodes.Insert(n, f, True);

oder die 1 ausschneiden und vor der 3 wieder einfügen

Delphi-Quellcode:

n := XML.RootNode.Nodes.Remove('#Element>ID=1');
f := XML.RootNode.Nodes['#Element>ID=3'];
XML.RootNode.Nodes.Insert(n, f, True);

Ich würde aber Ersteres bevorzugen, denn falls was beim Einfügen schief geht (Exception), dann würde f wild in der Gegend rumliegen (Speicherleck).

bzw, die 1 hinter die 3 verschieben

Delphi-Quellcode:

n := XML.RootNode.Nodes['#Element>ID=1'];
f := XML.RootNode.Nodes['#Element>ID=3'];
XML.RootNode.Nodes.Insert(n, f);

oder die 1 ausschneiden und nach der 3 wieder einfügen

Delphi-Quellcode:

n := XML.RootNode.Nodes.Remove('#Element>ID=1');
f := XML.RootNode.Nodes['#Element>ID=3'];
XML.RootNode.Nodes.Insert(n, f);

Nun aber noch 2 kleine Fehlerkorrekturen:
- In TXMLNodeList.Remove das "not" entfernen
- und nach dem Insert waren wirklich ein paar Zeiger fehlerhaft

Delphi-Quellcode:

    Function TXMLNodeList.Insert(Node, RNode: TXMLNode; previousR: Boolean = False): TXMLNode;
      Begin
        If not (Node is TXMLNode) Then
          Raise EXMLException.Create(ClassType, 'Insert', @SInvalidNode);
        If (Assigned(_Parent) and (_Parent.InnerText <> '')) or (Assigned(_FirstNode)
            and ((_FirstNode.NodeType = xtCData) or (Node.NodeType = xtCData))) Then
          Raise EXMLException.Create(ClassType, 'Insert', @SIsTextNode, _Parent.Name);
        If Assigned(RNode) and (not (RNode is TXMLNode) or (RNode.ParentList <> Self)) Then
          Raise EXMLException.Create(ClassType, 'Insert', @SNodeNotInList);
        If Assigned(Node.ParentList) Then Node := Node.ParentList.Remove(Node);
        Inc(_NodesCount);
        If previousR Then Begin
          If not Assigned(RNode) Then RNode := _FirstNode;

          If not Assigned(_FirstNode) or (_FirstNode = RNode) Then _FirstNode := Node;
          If not Assigned(_LastNode)                          Then _LastNode  := Node;
          If Assigned(RNode) Then Begin
            If Assigned(RNode.InnerPrev) Then RNode.InnerPrev.InnerNext := Node;
            Node.InnerPrev  := RNode.InnerPrev;
            Node.InnerNext  := RNode;
            RNode.InnerPrev := Node;
          End;
        End Else Begin
          If not Assigned(RNode) Then RNode := _LastNode;

          If not Assigned(_FirstNode)                         Then _FirstNode := Node;
          If not Assigned(_LastNode)  or (_FirstNode = RNode) Then _LastNode  := Node;
          If Assigned(RNode) Then Begin
            If Assigned(RNode.InnerNext) Then RNode.InnerNext.InnerPrev := Node;
            Node.InnerNext  := RNode.InnerNext;
            Node.InnerPrev  := RNode;
            RNode.InnerNext := Node;
          End;
        End;
        Node.CheckCrypted(True);
        Result := Node;
        DoNodeChange(Result, xcAddetNode);
      End;