himXML (gesprochen himix ML)

[himitsu]

wollt eigentlich nur mal die ersten Fortschritte eines vor kurzem längerem begonnen Projektes vorstellen

es ist "nur" eine weitere kleine XML-Klasse.

der Grund war eigentlich, daß mir andere XML-Projekte zu rießig sind
und MSMXL (TXMLDocument) nicht grad schnell.

[info]
aktuell entwickle ich unter D2009 und direkt kompatibel düfte es bis Delphi 2006 / Turbo Delphi sein

und Aufgrund einiger Anfragen versuch ich, sobald es da "gut" läuft, eine Extraversion weiter abwärtskompatibel zu machen ... mal sehn, bis wie weit runter das geht
[/info]
[add 04.01.2001] aktuell sieht es so aus, als wenn es schonmal bis zu D7 läuft [add/]

aktueller Post: http://www.delphipraxis.net/internal...116416#1116416 #193

• aktuell ab Delphi 2006 bzw. Turbo Delphi und auch für Delphi2009
  ab Windows 2000 und öfters mal in Windows 7 getestet
• zu den möglichen unterstützten Delphi-Versionen gibt es, Aufgrund häufiger Nachfragen, in Beitrag #191 eine kleine Zusammenfassung.
• Lizenzen: MPL v1.1 , GPL v3.0 oder LGPL v3.0
  es sollte also hoffentlich mit vielen anderen Lizenzen kompatibel sein
• arbeitet weitetgehend nach XML-Standard 1.0 (Fifth Edition)
  und Extensible Markup Language (XML) 1.1 (Second Edition)
• ist nicht validierend
• ein einzulesendes Dokument sollte aber möglichst "Well-Formed" (wohlgeformt) sein
• es wird nur der "Standard" unterstützt ... andere DTDs oder ähnliche Informationen werden nicht unterstützt
• also <!xyz text> wird zwar ausgelesen, aber "text" wird nicht auswertet
• <![CDATA[text]]> wird dagen natürlich behandelt
• <?xyz text ?> wird unterstützt, allerdings wird "text" geparst und in Parameter zerlegt (also wird es Probleme geben falls sich "text" mal nicht in Parameter zerlegen läßt)
  (nach XML 1.0 wird "text" eigentlich nicht zuerlegt im XML-Baum abgelegt, sondern nur XML-Prozessor-intern verarbeitet oder ignoriert)
• unterstützte Kodierungen (teilweise auch via BOM):
  UTF-7, UTF-8, UTF-16, ISO-10646-UCS-2 (littel endian), Unicode (big endian)
  ISO-8859-1 bis ISO-8859-9, ISO-2022-JP, EUC-JP, SHIFT-JIS und WINDOWS-1250 bis WINDOWS-1258
• UCS-4 (4 Byte-Unicode) wird nicht unterstützt,
  denn leider kann man immernoch nicht mit UCS4Char und UCS4String richtig arbeiten, vorallem da sie vollkommen inkompatibel zu den anderen Strings sind (bauen intern nur auf LongWord auf, statt auf einen "Char")
• im Gegensatz zu MSXML (TXMLDocument) kann die Kodierung stärker umgeschaltet werden
  (auch von ANSI/UTF-8 nach Unicode ... MSXML kann z.B. nur umschalten, wenn sich die Zeichengröße in Byte nicht ändert)
• arbeitet nur mit Klassen
  (eine Variante für sehr große Dateien und mit Interfaces aufgebaut, welche die Dateninhalte vorwiegend direkt in der Datei liest, speichert und ändert, kommt vielleicht irgendwann mal)
• eine Thread-Absicherung wurde letztendlich doch nicht direkt integriert,
  aber die CriticalSection wurde dringelassen und kann direkt verwendet werden:
  
  Delphi-Quellcode:

  XML._Lock;
  Try
    ... mach was mit dem XML ...
  Finally
    XML._Unlock;
  End;

• es muß nur jeweils eine Datei eingebunden werden
  himXML, himXMLi, himXML_UseDLL oder himXML_UseDLLi,
  jenachdem mit welcher Schnittstelle man arbeitet
  > wichtige Typen und Konstanten werden in den Dateien weitergeleitet, falls sie nicht in der entsprechenden Unit definiert sind
• ein kleiner Benchmark ist aber schon lauffähig:
  
  Delphi-Quellcode:

  // inklusive Zeitmessung siehe FormCreate
  
  XML := TXMLDocument.Create(Self);
  XML.Active     := True;
  XML.Version    := '1.0';
  XML.StandAlone := 'yes';
  XML.Encoding   := 'UTF-8';
  XML.Options    := [doNodeAutoIndent];
  XML.AddChild('xml');
  For i := 0 to 100000 do XML.DocumentElement.AddChild('Node' + IntToStr(i));
  XML.SaveToFile('test2.xml');
  XML.Free;
  
  // versus
  
  XML := TXMLFile.Create(nil);
  For i := 0 to 100000 do XML.RootNode.Nodes.Add('Node' + IntToStr(i));
  XML.SaveToFile('test.xml');
  XML.Free;

  Delphi-Quellcode:

  //10.000 Nodes (ergibt ca. eine 150 KB-Datei)
  
  TXMLDocument = fill:6749  save:99
  TXMLFile     = fill:  10  save: 7
  
  // 100.000 Nodes (ergibt ca. eine 1,5 MB-Datei)
  
  TXMLDocument = fill:708145  save:348  load:331
  TXMLFile     = fill:   189  save:150  load:319

  Zeiten in Millisekunden
  
  weitere Tests und Vergleiche (auch mit anderen Libs), siehe demos\CheckLibs.dpr
  wer keine Lust hat, vorallem wegen MSXML 'ne halbe Stunde ein Programm laufen zu lassen ... auf den nächsten Seiten befinden sich sporatisch die Testergebnisse verteilt
• "wichtige" Grundfunktionen von .RootNode wurden direkt in die Basisklasse (TXMLFile) umgelegt, sowie von .Nodes in dessen Mutterklasse (TXMLNode)
  
  .Node (.Nodes.Node[], .RootNode.Nodes.Node[] bzw .Nodes[], .RootNode.Nodes[]), .NodeNF (.Nodes.NodeNF bzw. .RootNode.Nodes.NodeNF), .NodeList (.Nodes.NodeList bzw. .RootNode.Nodes.NodeList), .NodeListNF (.Nodes.NodeListNF bzw. .RootNode.Nodes.NodeListNF) und AddNode (.Nodes.Add bzw. .RootNode.Nodes.Add)
  (in Groß siehe Beitrag #65)
• Pfadangaben sind möglich
  in Kurz also XML['node1\node2'] statt XML.RootNode.Nodes['node1'].Nodes['node2']
  ebenso können Parameter und Indizes im Nodepfad angegeben werden (siehe Hilfesektion in himXMLi.pas)
• es kann direkt eine Inline-Verschlüsselung genutzt werden
  einfach für den gewünschten Knoden zusweisen und alles via .Text und .Text_S wird automatisch beim Zuweisen/Auslesen ver-/entschlüsselt
  
  Delphi-Quellcode:

  Node.Crypted := '*';         // Standardverschlüsselung nutzen (erstes in der Liste)
  Node.Crypted := 'RC4';       // RC4 verwenden
  Node.Text := X;              // zuweisen und automatisch verschlüsseln
  X := Node.Text;              // automatisch entschlüsseln und auslesen
  If Node.Crypted <> '' Then   // nur prüfen ob es verschlüsselt ist
  If Node.Crypted = 'RC4' Then // prüfen ob es RC4 verschlüsselt ist
  
  XML.CryptData['RC4'] := S; // anderen Key für RC4 festlegen

  da die Verschlüsselungsroutine Zugriff auf die Node-Attribute hat, könnte man auch eine eigene Verschlüsselung zuweisen, welche z.B. über ein weiteres Attribut jeden Node mit einem eigenem Key verschlüsselt.
  
  Delphi-Quellcode:

  XML.Cryptors       // listet alle registrierten Verschlüsselungen auf
  XML.SetCryptor     // setzt/lösche eine Verschlüsselung
  XML.CryptProc      // siehe SetCryptor
  XML.CryptData      // siehe SetCryptor
  XML.CryptAttrName  // der Name des Attributes, welcher die aktive Verschlüsselung enthält

• • himXML.pas
    - die ganzen Klassen
  • himXMLi.pas
    - die zugehörigen Interfaces (sie spiegeln auch die Funktionalität der Klassen wieder .. nur da halt über TXML... statt IXML...)
    - und enthält auch eine "kleine" Hilfe-Sektion
  • himXML_Tools.pas
    - kleine Zusatzmodule:
    TSimpleAssocVariantArray - sehr einfaches String-assoziatives Array of Variant
    TXMLSerializeRecord_Creator - erzeugt eine Record-Definition für .Serialize/.DeSerialize von Records
    TXMLIniFile - verwendet eine XML-Datei wie eine INI und läßt sich auch wie IniFiles.TIniFile nutzen
    TXMLRegistry - das Gleiche, nur halt mit Registry.TRegistry
    TXMLDatabase - noch unfertig, soll aber irgendwann mal eine XML-Datei wie eine kleine SQL-DB nutzbar machen
  • demos\CheckLibs.dpr
    - einige Tests/Benchmarks zum Projekt und anderen XML-Libs
  • demos\CheckLib_UseDLL.dpr und demos\CheckLib_UseDLLi.dpr
    - das Gleiche, nur über ein externes himXML via DLLs (siehe weiter unten)
  • demos\Demo_Serialize.dpr
    - zeigt einiges zu den (De)Serialisierungsfunktionsn
  • demos\Demo_Tree.dpr
    - 'ne kleine Demo, wo eine XML-Datei in eine TreeView geladen und angezeigt wird
  • demos\SAXParser.dpr
    - hier wird eine kleine XML-Testdatei sequentiel geladen
  • DLLs\himXML_UseDLL.pas und DLLs\himXML_UseDLLi.pas
    - dieses sind die Schnittstellen-Units für die DLLs
    einmal als Objekte und das Andere (mit dem i) als Interfaces
    bei der Objektversion sind die Exceptions noch nicht umgeleitet, also möglichst welche vermeiden
    in der Interfaceversion funktioniert das Freigeben nochn nicht
  • DLLs\himXML_DLL.dpr und DLLs\himXML_DLLi.dpr
    - die zugehörigen DLLs
  • other\*
    - einige andere XML-Libs (verwendet in demos\CheckLibs* )
  • test files\*
    - einige "XML"-Dateien zum Testen

ansonsten bin ich für Tipps und Vorschläge dankbar

[add 13.03.2009]
ach ja falls der Name jemandem nich gefällt ... Beschwerden bitte an Matze richten

[add]
im Beitrag #193 wird etwas über die im Download mit enthalenen anderen XML-Libs geschrieben.


[add]
Achtung, beim Forenupgrad der DP sind die Dateikommentare verschwunden und die Dateinamen sind unglücklich importiert wurden.

himxml_246.7z = v0.9 21.05.2009
himxml_164.7z = v0.99d 12.01.2010
other.7z = 30.12.2010 (only the "other" directory)

[himitsu]

@geskill:
Konnte deinen Fehler leider nicht reproduzieren.

Solange man nicht "manuell" im Quellcode die .Version setzt oder das Versions-Attribut verändert, sollte eigentlich beim Speichern niemal diese Fehlermeldung erscheinen können.
(beim Auslesen sollten nur bekannte XML-Version erkannt/zugelassen werden, weswegen beim Speichern eigentlich keine unbekannte Version vorliegen dürfte)

Könntest du mir eine Demoanwendung zukommen lassen, welche dieser Verhalten zeigt?



PS: .DefaultTextIndent legt die "Standard"-Einstellung für zukünftige Instanzen von TXMLFile fest.
.TextIndent repräsentiert die Einstellung der aktuellen Instanz.

Du wolltest also bestimmt TextIndent := #9; verwenden.

[Medium]

Ahhh, mir wurde einiges klarer jetzt! Danke!

Nachdem ich mir dann mal genau aufgemalt habe was da wo hin gepointert wird, ist mir aufgefallen, dass Node.InnerPrev und Node.InnerPrev.InnerNext noch fehlen.
Ich habe zudem nach wie vor bei schon einmal verschobenen Nodes den Fehler bekommen, dass die Node nicht in der Liste sei. Node.SetParent(self) hat Abhilfe geschaffen

Hier mal meine Anpassungen:

Delphi-Quellcode:

      Function TXMLNodeList.Insert(Node, RNode: TXMLNode; previousR: Boolean = False): TXMLNode;
      var
        tmp: TXMLNode;
      Begin
        If not (Node is TXMLNode) Then
          Raise EXMLException.Create(ClassType, 'Insert', @SInvalidNode);
        If (Assigned(_Parent) and (_Parent.InnerText <> '')) or (Assigned(_FirstNode)
            and ((_FirstNode.NodeType = xtCData) or (Node.NodeType = xtCData))) Then
          Raise EXMLException.Create(ClassType, 'Insert', @SIsTextNode, _Parent.Name);
        If Assigned(RNode) and (not (RNode is TXMLNode) or (RNode.ParentList <> Self)) Then
          Raise EXMLException.Create(ClassType, 'Insert', @SNodeNotInList);
        If Assigned(Node.ParentList) Then Node := Node.ParentList.Remove(Node);
        Inc(_NodesCount);
        If previousR Then Begin
          If not Assigned(RNode) Then RNode := _FirstNode;

          If not Assigned(_FirstNode) or (_FirstNode = RNode) Then _FirstNode := Node;
          If not Assigned(_LastNode) Then _LastNode := Node;
          If Assigned(RNode) Then Begin
            If Assigned(RNode.InnerPrev) Then RNode.InnerPrev.InnerNext := Node;
            Node.InnerPrev := RNode.InnerPrev;
            Node.InnerNext := RNode;
            RNode.InnerPrev := Node;
          End;
        End Else Begin
          If not Assigned(RNode) Then RNode := _LastNode;

          If not Assigned(_FirstNode) Then _FirstNode := Node;
          If not Assigned(_LastNode) or (_FirstNode = RNode) Then _LastNode := Node;
          If Assigned(RNode) Then Begin
            If Assigned(RNode.InnerNext) Then RNode.InnerNext.InnerPrev := Node;
            Node.InnerNext := RNode.InnerNext;
            tmp := Node.InnerPrev;
            Node.InnerPrev := RNode;
            RNode.InnerNext := Node;
            RNode.InnerPrev := tmp;
            if Assigned(tmp) then
              tmp.InnerNext := RNode;
            Node.SetParent(self);
            RNode.SetParent(self);
          End;
        End;
        Node.CheckCrypted(True);
        Result := Node;
        DoNodeChange(Result, xcAddetNode);
      End;

Ich habe nur den Zweig für previousR=false geändert, da die andere Variante bei benachbarten Nodes sehr lustige Verknotungen erzeugt (Node.InnerPrev zeigt wieder auf Node und so Dinge), und ich es nicht zwingend brauche. (Nach oben schieben lässt sich ja auch über runter schubsen des vorigen Nodes erreichen.)

Damit komme ich nun weiter, merci!!

Edit: Ach shit
Noch immer verschwinden RNodes, und zwar sobald das Node (also das direkt davor) vorher schon mal an einer Verschiebung beteiligt war. Ich habe jetzt 3 Seiten mit Pfeilen vollgekritzelt, und komme immer zu dem Ergebnis, dass diese Abfolge von Verbiegungen stimmen sollte:

Delphi-Quellcode:

            If Assigned(RNode.InnerNext) Then RNode.InnerNext.InnerPrev := Node;
            If Assigned(Node.InnerPrev) Then Node.InnerPrev.InnerNext := RNode;
            Node.InnerNext := RNode.InnerNext;
            RNode.InnerPrev := Node.InnerPrev;
            Node.InnerPrev := RNode;
            RNode.InnerNext := Node;

(Habe das "tmp" von oben eliminieren können, daher nochmals anders.)
Ich verzweifel langsam :\

Edit2
Das RNode verliert seinen Prev! Und zwar obwohl das Prev vom Node gültig ist. Aber WARUM!?
Wenn doch nur dieser sch**** Debugger in die Methode springen würde, WAHH! Auch DCU killen half nicht. Sowas liebe ich ja.

Edit3
Durch das vorige Remove von Node aus Node.ParentList werden die Next und Prevs genilt.
Hier die gesamte gepatchte Methode, wobei halt noch immer der Zweig für previousR unbehandelt ist:

Delphi-Quellcode:

      Function TXMLNodeList.Insert(Node, RNode: TXMLNode; previousR: Boolean = False): TXMLNode;
      var
        NPrev: TXMLNode;
      Begin
        If not (Node is TXMLNode) Then
          Raise EXMLException.Create(ClassType, 'Insert', @SInvalidNode);
        If (Assigned(_Parent) and (_Parent.InnerText <> '')) or (Assigned(_FirstNode)
            and ((_FirstNode.NodeType = xtCData) or (Node.NodeType = xtCData))) Then
          Raise EXMLException.Create(ClassType, 'Insert', @SIsTextNode, _Parent.Name);
        If Assigned(RNode) and (not (RNode is TXMLNode) or (RNode.ParentList <> Self)) Then
          Raise EXMLException.Create(ClassType, 'Insert', @SNodeNotInList);
        NPrev := Node.InnerPrev;
        If Assigned(Node.ParentList) Then Node := Node.ParentList.Remove(Node);
        Inc(_NodesCount);
        If previousR Then Begin
          (*If not Assigned(RNode) Then RNode := _FirstNode;

          If not Assigned(_FirstNode) or (_FirstNode = RNode) Then _FirstNode := Node;
          If not Assigned(_LastNode) Then _LastNode := Node;
          If Assigned(RNode) Then Begin
            If Assigned(RNode.InnerPrev) Then RNode.InnerPrev.InnerNext := Node;
            Node.InnerPrev := RNode.InnerPrev;
            Node.InnerNext := RNode;
            RNode.InnerPrev := Node;
          End;*)
        End Else Begin
          If not Assigned(RNode) Then RNode := _LastNode;

          If not Assigned(_FirstNode) Then _FirstNode := Node;
          If not Assigned(_LastNode) or (_FirstNode = RNode) Then _LastNode := Node;
          If Assigned(RNode) Then Begin
            If Assigned(RNode.InnerNext) Then RNode.InnerNext.InnerPrev := Node;
            If Assigned(Node.InnerPrev) Then Node.InnerPrev.InnerNext := RNode;
            Node.InnerNext := RNode.InnerNext;
            RNode.InnerPrev := NPrev;
            Node.InnerPrev := RNode;
            RNode.InnerNext := Node;
            Node.SetParent(self);
            Node.SetOwner(self.Owner);
          End;
        End;
        Node.CheckCrypted(True);
        Result := Node;
        DoNodeChange(Result, xcAddetNode);
      End;

Edit #wasweissich
Wenn beim Insert der LastNode betroffen ist, muss der noch in der Liste mit geupdated werden. Sonst geht in darauf folgenden Add() mächtig was schief!

Edit ...
Das letzte aber voraussichtlich . Wenn die beteiligten beiden Knoten keine Nachbarn sind, wird alles was zwischen den beiden war noch einseitig weggeschnitten. Node.Next.Prev und RNode.Prev.Next müssten noch behandelt werden.
Wenn man InnerNext und InnerPrev Setter spendieren würde, die gleich die Gegenrichtung mit anpassen, dürfte man sich viel Gehampel ersparen glaube ich.

[himitsu]

Einer der Gründe, warum ich das Speichermanagement etwas fast komplett überarbeite.

[Jens Hartmann]

Hallo himitsu,

ich versuche gerade Deine Klasse zu verwenden. In den Demos funktioniert das alles. Allerdings versuche ich die Klasse gerade in eine IntraWeb Anwendung einzubinden. Dabei kommt es zu einem Fehler. Vieleicht ist dir der Fehler ja schon bekannt, und du kannst mir einen Lösungsansatz geben.

Ich habe die "himXML" in mein Projekt eingebunden versuche nach der "TreeDemo" eine "IWTreeView" Komponente mit einer XML-Datei zu füllen. Beim kompilieren, bricht er allerdings an folgender Stelle deiner Klasse...

Delphi-Quellcode:

        End;
        If (L < 0) or (i > 0) Then Raise EXMLException.CreateEx(TXMLFile, 'Crypt_Base64Decode', @SCorupptedBase64);
      End;

Mit folgender Fehlermeldung ab..

Zitat:

[DCC Fehler] himXML.pas(1767): E2250 Es gibt keine überladene Version von 'CreateEx', die man mit diesen Argumenten aufrufen kann

Vieleicht kannst Du mir sagen, wo der Fehler liegt.

Gruß Jens

[himitsu]

hmmmm

Wenn du hinter das CreateEx gehst und dort ein ( hinschreibst, was zeigt dann das CodeInsight an?

[Jens Hartmann]

Hier die CodeInsight...

Vieleicht als Info. Ich nutze D2007Pro mit Win7/64. In einer normalen VCL-Anwendung geht es ohne Probleme. Es muss also irgendwie mit IntraWeb zusammenhängen.

Gruß Jens

[Jens Hartmann]

Das ganze muss vermutlich an irgendeiner anderen Datei liegen die Du für die himXML nutzen tust. Da fehlt noch viel mehr.

[himitsu]

Versuche mal bitte den neueren anderen Anhang (164).

Nja, ein Problem ist halt, daß ich dieses Projekt unter Delphi 2009 gestartet hatte und für die Abwärtskompatibilität kein D2007 zur Verfügung stand ... hatte als nächsten Vorgänger nur noch ein D2006 zur Verfügung.

[GPRSNerd]

Hallo himitsu,

Delphi XE schmeisst (neben anderen) ein paar Warnungen beim Compilen von himxml.pas aus in Zeilen wie:
Integer(@X.Time)

[DCC Warnung] himXML.pas(3157): W1000 Symbol 'Time' ist veraltet
[DCC Warnung] himXML.pas(3312): W1000 Symbol 'Time' ist veraltet

Hast du ne Ahnung wie man das fixen kann? Es scheint generell mit TSearchRec.Time und FileAge u.ä. zu tun zu haben...
Habe im inet nichts genaueres dazu gefunden.

Gruß,
Stefan

[himitsu]

Diese Veraltet-Meldungen kann man notfalls erstmal ignorieren.

Das Bedeutet nur, daß es eventuell neuere/andere Funktionen/Aufrufe gibt und daß die entsprechende veraltete Funktion vermutlich demnächst aus Delphi entfernt wird.