himXML (gesprochen himix ML)

[himitsu Online]

wollt eigentlich nur mal die ersten Fortschritte eines vor kurzem längerem begonnen Projektes vorstellen

es ist "nur" eine weitere kleine XML-Klasse.

der Grund war eigentlich, daß mir andere XML-Projekte zu rießig sind
und MSMXL (TXMLDocument) nicht grad schnell.

[info]
aktuell entwickle ich unter D2009 und direkt kompatibel düfte es bis Delphi 2006 / Turbo Delphi sein

und Aufgrund einiger Anfragen versuch ich, sobald es da "gut" läuft, eine Extraversion weiter abwärtskompatibel zu machen ... mal sehn, bis wie weit runter das geht
[/info]
[add 04.01.2001] aktuell sieht es so aus, als wenn es schonmal bis zu D7 läuft [add/]

aktueller Post: http://www.delphipraxis.net/internal...116416#1116416 #193

• aktuell ab Delphi 2006 bzw. Turbo Delphi und auch für Delphi2009
  ab Windows 2000 und öfters mal in Windows 7 getestet
• zu den möglichen unterstützten Delphi-Versionen gibt es, Aufgrund häufiger Nachfragen, in Beitrag #191 eine kleine Zusammenfassung.
• Lizenzen: MPL v1.1 , GPL v3.0 oder LGPL v3.0
  es sollte also hoffentlich mit vielen anderen Lizenzen kompatibel sein
• arbeitet weitetgehend nach XML-Standard 1.0 (Fifth Edition)
  und Extensible Markup Language (XML) 1.1 (Second Edition)
• ist nicht validierend
• ein einzulesendes Dokument sollte aber möglichst "Well-Formed" (wohlgeformt) sein
• es wird nur der "Standard" unterstützt ... andere DTDs oder ähnliche Informationen werden nicht unterstützt
• also <!xyz text> wird zwar ausgelesen, aber "text" wird nicht auswertet
• <![CDATA[text]]> wird dagen natürlich behandelt
• <?xyz text ?> wird unterstützt, allerdings wird "text" geparst und in Parameter zerlegt (also wird es Probleme geben falls sich "text" mal nicht in Parameter zerlegen läßt)
  (nach XML 1.0 wird "text" eigentlich nicht zuerlegt im XML-Baum abgelegt, sondern nur XML-Prozessor-intern verarbeitet oder ignoriert)
• unterstützte Kodierungen (teilweise auch via BOM):
  UTF-7, UTF-8, UTF-16, ISO-10646-UCS-2 (littel endian), Unicode (big endian)
  ISO-8859-1 bis ISO-8859-9, ISO-2022-JP, EUC-JP, SHIFT-JIS und WINDOWS-1250 bis WINDOWS-1258
• UCS-4 (4 Byte-Unicode) wird nicht unterstützt,
  denn leider kann man immernoch nicht mit UCS4Char und UCS4String richtig arbeiten, vorallem da sie vollkommen inkompatibel zu den anderen Strings sind (bauen intern nur auf LongWord auf, statt auf einen "Char")
• im Gegensatz zu MSXML (TXMLDocument) kann die Kodierung stärker umgeschaltet werden
  (auch von ANSI/UTF-8 nach Unicode ... MSXML kann z.B. nur umschalten, wenn sich die Zeichengröße in Byte nicht ändert)
• arbeitet nur mit Klassen
  (eine Variante für sehr große Dateien und mit Interfaces aufgebaut, welche die Dateninhalte vorwiegend direkt in der Datei liest, speichert und ändert, kommt vielleicht irgendwann mal)
• eine Thread-Absicherung wurde letztendlich doch nicht direkt integriert,
  aber die CriticalSection wurde dringelassen und kann direkt verwendet werden:
  
  Delphi-Quellcode:

  XML._Lock;
  Try
    ... mach was mit dem XML ...
  Finally
    XML._Unlock;
  End;

• es muß nur jeweils eine Datei eingebunden werden
  himXML, himXMLi, himXML_UseDLL oder himXML_UseDLLi,
  jenachdem mit welcher Schnittstelle man arbeitet
  > wichtige Typen und Konstanten werden in den Dateien weitergeleitet, falls sie nicht in der entsprechenden Unit definiert sind
• ein kleiner Benchmark ist aber schon lauffähig:
  
  Delphi-Quellcode:

  // inklusive Zeitmessung siehe FormCreate
  
  XML := TXMLDocument.Create(Self);
  XML.Active     := True;
  XML.Version    := '1.0';
  XML.StandAlone := 'yes';
  XML.Encoding   := 'UTF-8';
  XML.Options    := [doNodeAutoIndent];
  XML.AddChild('xml');
  For i := 0 to 100000 do XML.DocumentElement.AddChild('Node' + IntToStr(i));
  XML.SaveToFile('test2.xml');
  XML.Free;
  
  // versus
  
  XML := TXMLFile.Create(nil);
  For i := 0 to 100000 do XML.RootNode.Nodes.Add('Node' + IntToStr(i));
  XML.SaveToFile('test.xml');
  XML.Free;

  Delphi-Quellcode:

  //10.000 Nodes (ergibt ca. eine 150 KB-Datei)
  
  TXMLDocument = fill:6749  save:99
  TXMLFile     = fill:  10  save: 7
  
  // 100.000 Nodes (ergibt ca. eine 1,5 MB-Datei)
  
  TXMLDocument = fill:708145  save:348  load:331
  TXMLFile     = fill:   189  save:150  load:319

  Zeiten in Millisekunden
  
  weitere Tests und Vergleiche (auch mit anderen Libs), siehe demos\CheckLibs.dpr
  wer keine Lust hat, vorallem wegen MSXML 'ne halbe Stunde ein Programm laufen zu lassen ... auf den nächsten Seiten befinden sich sporatisch die Testergebnisse verteilt
• "wichtige" Grundfunktionen von .RootNode wurden direkt in die Basisklasse (TXMLFile) umgelegt, sowie von .Nodes in dessen Mutterklasse (TXMLNode)
  
  .Node (.Nodes.Node[], .RootNode.Nodes.Node[] bzw .Nodes[], .RootNode.Nodes[]), .NodeNF (.Nodes.NodeNF bzw. .RootNode.Nodes.NodeNF), .NodeList (.Nodes.NodeList bzw. .RootNode.Nodes.NodeList), .NodeListNF (.Nodes.NodeListNF bzw. .RootNode.Nodes.NodeListNF) und AddNode (.Nodes.Add bzw. .RootNode.Nodes.Add)
  (in Groß siehe Beitrag #65)
• Pfadangaben sind möglich
  in Kurz also XML['node1\node2'] statt XML.RootNode.Nodes['node1'].Nodes['node2']
  ebenso können Parameter und Indizes im Nodepfad angegeben werden (siehe Hilfesektion in himXMLi.pas)
• es kann direkt eine Inline-Verschlüsselung genutzt werden
  einfach für den gewünschten Knoden zusweisen und alles via .Text und .Text_S wird automatisch beim Zuweisen/Auslesen ver-/entschlüsselt
  
  Delphi-Quellcode:

  Node.Crypted := '*';         // Standardverschlüsselung nutzen (erstes in der Liste)
  Node.Crypted := 'RC4';       // RC4 verwenden
  Node.Text := X;              // zuweisen und automatisch verschlüsseln
  X := Node.Text;              // automatisch entschlüsseln und auslesen
  If Node.Crypted <> '' Then   // nur prüfen ob es verschlüsselt ist
  If Node.Crypted = 'RC4' Then // prüfen ob es RC4 verschlüsselt ist
  
  XML.CryptData['RC4'] := S; // anderen Key für RC4 festlegen

  da die Verschlüsselungsroutine Zugriff auf die Node-Attribute hat, könnte man auch eine eigene Verschlüsselung zuweisen, welche z.B. über ein weiteres Attribut jeden Node mit einem eigenem Key verschlüsselt.
  
  Delphi-Quellcode:

  XML.Cryptors       // listet alle registrierten Verschlüsselungen auf
  XML.SetCryptor     // setzt/lösche eine Verschlüsselung
  XML.CryptProc      // siehe SetCryptor
  XML.CryptData      // siehe SetCryptor
  XML.CryptAttrName  // der Name des Attributes, welcher die aktive Verschlüsselung enthält

• • himXML.pas
    - die ganzen Klassen
  • himXMLi.pas
    - die zugehörigen Interfaces (sie spiegeln auch die Funktionalität der Klassen wieder .. nur da halt über TXML... statt IXML...)
    - und enthält auch eine "kleine" Hilfe-Sektion
  • himXML_Tools.pas
    - kleine Zusatzmodule:
    TSimpleAssocVariantArray - sehr einfaches String-assoziatives Array of Variant
    TXMLSerializeRecord_Creator - erzeugt eine Record-Definition für .Serialize/.DeSerialize von Records
    TXMLIniFile - verwendet eine XML-Datei wie eine INI und läßt sich auch wie IniFiles.TIniFile nutzen
    TXMLRegistry - das Gleiche, nur halt mit Registry.TRegistry
    TXMLDatabase - noch unfertig, soll aber irgendwann mal eine XML-Datei wie eine kleine SQL-DB nutzbar machen
  • demos\CheckLibs.dpr
    - einige Tests/Benchmarks zum Projekt und anderen XML-Libs
  • demos\CheckLib_UseDLL.dpr und demos\CheckLib_UseDLLi.dpr
    - das Gleiche, nur über ein externes himXML via DLLs (siehe weiter unten)
  • demos\Demo_Serialize.dpr
    - zeigt einiges zu den (De)Serialisierungsfunktionsn
  • demos\Demo_Tree.dpr
    - 'ne kleine Demo, wo eine XML-Datei in eine TreeView geladen und angezeigt wird
  • demos\SAXParser.dpr
    - hier wird eine kleine XML-Testdatei sequentiel geladen
  • DLLs\himXML_UseDLL.pas und DLLs\himXML_UseDLLi.pas
    - dieses sind die Schnittstellen-Units für die DLLs
    einmal als Objekte und das Andere (mit dem i) als Interfaces
    bei der Objektversion sind die Exceptions noch nicht umgeleitet, also möglichst welche vermeiden
    in der Interfaceversion funktioniert das Freigeben nochn nicht
  • DLLs\himXML_DLL.dpr und DLLs\himXML_DLLi.dpr
    - die zugehörigen DLLs
  • other\*
    - einige andere XML-Libs (verwendet in demos\CheckLibs* )
  • test files\*
    - einige "XML"-Dateien zum Testen

ansonsten bin ich für Tipps und Vorschläge dankbar

[add 13.03.2009]
ach ja falls der Name jemandem nich gefällt ... Beschwerden bitte an Matze richten

[add]
im Beitrag #193 wird etwas über die im Download mit enthalenen anderen XML-Libs geschrieben.


[add]
Achtung, beim Forenupgrad der DP sind die Dateikommentare verschwunden und die Dateinamen sind unglücklich importiert wurden.

himxml_246.7z = v0.9 21.05.2009
himxml_164.7z = v0.99d 12.01.2010
other.7z = 30.12.2010 (only the "other" directory)

[himitsu]

Soooooo,

ab jetzt wird auf dem Desktop eine etwas detailiertere Fehler-Log erstellt
und dann ohne die __CompareBlocks gearbeitet ... also etwas langsamer, aber es läuft

bastell nun noch etwas an den Blöcken rum und lad danach das Update hoch


Wie nennt man das eigentlich, wenn der "Ersteller" der Software kontaktiert werden soll?
(also die Software, wo mein Teil dann drin verbaut ist?)

Zitat:

pleace contact the ....

blöd, wenn ich die VM in meinem schnuckligem 15"er nicht im Vollbild laufen laß -_-°
tja, wo nun anfang des Jahres der PC komplett neu gemacht werden mußte .. da leidet nun geldmäßig der Monitor etwas http://fnse.de/S01/0GU.gif

[edit]
Anhänge entfernt ... ist nun in Post #1 eingebaut ^^

[Satty67]

Zitat von himitsu:

pleace contact the ....

in meinem Fall würde ein ...stupid idiot, who made this shit reichen, aber ganz allgemein kommt wohl besser

please contact the developer
please contact the software provider
please contact the software distributor

denke da inzwischen alles über einen Vertieb läuft und nicht mehr über Entwickler/-Studios wäre letzteres logischer, ersteres klingt besser.

[himitsu]

hab das Letzte verbaut

dann läuft es wieder in bzw. nun auch unter Windows 7


und damit dürften die aktuellen Systemvorausetzungen wie folgt ausehn:

ab Delphi 2006 bzw. Turbo Delphi bis Delphi 2009
Windows 2000 (eventuell auch schon NT) bis Windows 7 RC
(alles bis Win98/ME fällt alleine schon wegen der standardmäßig nicht vorhandenen Unicodeunterstützung weg)


Update siehe #1

[Satty67]

Auch hier mit der neuen Version keine Probleme mehr, wenn das von Interesse ist.

Hatte schon eine eigene XOR Verschlüsselung für Strings (vorgelagert) implementiert und teste die laufende Woche mal das neue Feature mit XMLfile direkt zu verschlüsseln.

[himitsu]

*freu*

eigentlich nur Kleinigkeiten

• Zeilenzählung wärend des Parsens integriert ... jetzt wird auch entlich mal die Zeile direkt angezeigt und nicht nur die Byteposition innerhalb der Datei, wenn es beim Parsen zu einem Fehler kommt.
• und mal nix mit der Lib selber, aber es gibt eine neue Demo > Demo_Tree2 < , welche sich kaum von der "1" unterscheidet, außer daß der TTreeView nun dynamisch gefüllt wird ... also quasi fast, wie man es von der VTV kennt.
  So ist nun z.B. die eine ~30 MB-XML-Test-Datei in knapp 6 Sekunden geladen und "teilweise" RAM-sparend im TreeView verfügbar.

[edit]
hab noch etwas an der Demo2 rumgespielt
hier das Ergebnis (jetzt nicht extra alles nochma neu hoch)
- auf-/zuklappen des Trees verbessert usw.

[edit]
Anhang entfernt ... ist nun in Post #1 enthalten (demos\Demo_Tree2.dpr)

[Mithrandir]

Sodele,

ich bin jetzt in der Situation, dass ich TXMLDatabase bräuchte. Machste das gleich noch fertig?

Ginge auch ohne, wäre aber... "hübscher"....

[Satty67]

Wobei ich mir das zimlich elend vorstelle, DataSet/DataSourec erwarten eine Tabellstruktur (denke ich) und XML kann ja alles sein... Tabelle, Baum, Liste etc.

Andere Frage, ist die Frage nach einer Lizenz schon geklärt. Hab' jetzt gar nicht ins letzte Archiv geschaut, ob da schon was vermerkt ist. Eine mögliche Verwendung von himXML in ClosedSource Applikationen wäre wirklich nett. Ein nicht kommerziell vertriebenes, aber kommerziell angewendetes Programm soll für Einstellungen und eine Exportfunktion mit himXML ausgestattet werden.

[himitsu]

also die Lizenz ist geklärt ... siehe Post #1 mißt, dacht ich hätt's da schon reingeschrieben

Zitat:

MPL v1.1 , GPL v3.0 or LGPL v3.0

und was die DB angeht, das Format in XML ist schon fast klat, im Grunde kann man alles als Baum ansehn
> Hauptknoten > Tabellen > Spalten/Felder > Daten

aber erstmal versuch ich es so mySQL-mäßig, wie aus PHP bekannt, zu machen und dann muß ich mal sehen, wie man es mit DataSet/DataSource verknüpfen kann ()kab noch keine Ahnung, wie Letzeres intern arbeitet und wie man dann da rangehn müßte.

[Mithrandir]

Naja, ne Anbindung ans TDataset brauch ich nun nicht unbedingt. Aber SQL-Statements fände ich irgendwie geil.


Aber zwei Fragen haben sich doch noch gestellt. Hab mir bei Wikipedia den Artikel über XML angesehen, aber keine Antwort gefunden:

• Gibt es eine Beschränkung bei der Anzahl der Zeichen pro Zeile?
• Ziffern als Knotenbezeichner sind nicht erlaubt?

Hintergrund: Meine XML-Datei sieht so aus:

XML-Code:

<?xml version="1.0" encoding="UTF-8" standalone="yes" ?>
<xml>
  <ETNT>
    <weather metarstring="ETNT 291720Z 04006KT 9999 FEW220 22/15 Q1019 BLU+" temperature="22" humidity="65" dewpoint="15" altimeter="1019" metartime="2009-06-29T17-20-00.000" currenttime="2009-06-29T19-59-42.437" winddir="2" intensity="1" descriptor="1" obscuration="1" precipitation="1" other="1" cloudcover="2" altimeterunit="0" speedunit="2" />
    <weather metarstring="ETNT 291720Z 04006KT 9999 FEW220 22/15 Q1019 BLU+" temperature="22" humidity="65" dewpoint="15" altimeter="1019" metartime="2009-06-29T17-20-00.000" currenttime="2009-06-29T20-02-30.156" winddir="2" intensity="1" descriptor="1" obscuration="1" precipitation="1" other="1" cloudcover="2" altimeterunit="0" speedunit="2" />
    <weather metarstring="ETNT 291720Z 04006KT 9999 FEW220 22/15 Q1019 BLU+" temperature="22" humidity="65" dewpoint="15" altimeter="1019" metartime="2009-06-29T17-20-00.000" currenttime="2009-06-29T20-02-30.156" winddir="2" intensity="1" descriptor="1" obscuration="1" precipitation="1" other="1" cloudcover="2" altimeterunit="0" speedunit="2" />
    <weather metarstring="ETNT 291720Z 04006KT 9999 FEW220 22/15 Q1019 BLU+" temperature="22" humidity="65" dewpoint="15" altimeter="1019" metartime="2009-06-29T17-20-00.000" currenttime="2009-06-29T20-04-34.375" winddir="2" intensity="1" descriptor="1" obscuration="1" precipitation="1" other="1" cloudcover="2" altimeterunit="0" speedunit="2" />
  </ETNT>
  <EDDH>
    <weather metarstring="EDDH 291750Z 05007KT 9999 FEW042 23/14 Q1019 NOSIG" temperature="23" humidity="57" dewpoint="14" altimeter="1019" metartime="2009-06-29T17-50-00.000" currenttime="2009-06-29T20-04-07.281" winddir="2" intensity="1" descriptor="1" obscuration="1" precipitation="1" other="1" cloudcover="2" altimeterunit="0" speedunit="2" />
  </EDDH>
</xml>

Muss ich da irgendwie mit Problemen rechnen?

[himitsu]

Theoretisch gibt es da keine Längenbeschränkung ... wäre auch blöd, wenn man die XML kompackt und ohne Zeilenumbrüche erstellen ließe.
(obwohl einige XML-Editoren eine Grenze drin haben ... z.B. hat die Delphi IDE ab 1024 Zeichen pro Zeile arge Probleme und schneidet den Rest ab, Notepad bricht dan wenigstens "nur" um)

Aber bei der Base64-Codierung wird dennoch (meißten) aller 'ner gewissen Zeichenzahl eine Trennung reingemacht.

Nur die SQL-Statements machen einige Probleme:
- ich hab quasi keine Ahnung von Parsern (drum übe ich grad erstmal an einem kleinem Mathe-Parser zur StringMathLib)
- dann muß ich auch noch einen "schönen" Befehlssatz für die SQL-Statements zusammenbekommen
- und zusätzlich noch überlegen ob/wie ich eine "schnelle" zusätzliche Indizierung der Schlüsselfelder hinbekomm (wenn ich welche zulaß)