himXML (gesprochen himix ML)

[himitsu]

wollt eigentlich nur mal die ersten Fortschritte eines vor kurzem längerem begonnen Projektes vorstellen

es ist "nur" eine weitere kleine XML-Klasse.

der Grund war eigentlich, daß mir andere XML-Projekte zu rießig sind
und MSMXL (TXMLDocument) nicht grad schnell.

[info]
aktuell entwickle ich unter D2009 und direkt kompatibel düfte es bis Delphi 2006 / Turbo Delphi sein

und Aufgrund einiger Anfragen versuch ich, sobald es da "gut" läuft, eine Extraversion weiter abwärtskompatibel zu machen ... mal sehn, bis wie weit runter das geht
[/info]
[add 04.01.2001] aktuell sieht es so aus, als wenn es schonmal bis zu D7 läuft [add/]

aktueller Post: http://www.delphipraxis.net/internal...116416#1116416 #193

• aktuell ab Delphi 2006 bzw. Turbo Delphi und auch für Delphi2009
  ab Windows 2000 und öfters mal in Windows 7 getestet
• zu den möglichen unterstützten Delphi-Versionen gibt es, Aufgrund häufiger Nachfragen, in Beitrag #191 eine kleine Zusammenfassung.
• Lizenzen: MPL v1.1 , GPL v3.0 oder LGPL v3.0
  es sollte also hoffentlich mit vielen anderen Lizenzen kompatibel sein
• arbeitet weitetgehend nach XML-Standard 1.0 (Fifth Edition)
  und Extensible Markup Language (XML) 1.1 (Second Edition)
• ist nicht validierend
• ein einzulesendes Dokument sollte aber möglichst "Well-Formed" (wohlgeformt) sein
• es wird nur der "Standard" unterstützt ... andere DTDs oder ähnliche Informationen werden nicht unterstützt
• also <!xyz text> wird zwar ausgelesen, aber "text" wird nicht auswertet
• <![CDATA[text]]> wird dagen natürlich behandelt
• <?xyz text ?> wird unterstützt, allerdings wird "text" geparst und in Parameter zerlegt (also wird es Probleme geben falls sich "text" mal nicht in Parameter zerlegen läßt)
  (nach XML 1.0 wird "text" eigentlich nicht zuerlegt im XML-Baum abgelegt, sondern nur XML-Prozessor-intern verarbeitet oder ignoriert)
• unterstützte Kodierungen (teilweise auch via BOM):
  UTF-7, UTF-8, UTF-16, ISO-10646-UCS-2 (littel endian), Unicode (big endian)
  ISO-8859-1 bis ISO-8859-9, ISO-2022-JP, EUC-JP, SHIFT-JIS und WINDOWS-1250 bis WINDOWS-1258
• UCS-4 (4 Byte-Unicode) wird nicht unterstützt,
  denn leider kann man immernoch nicht mit UCS4Char und UCS4String richtig arbeiten, vorallem da sie vollkommen inkompatibel zu den anderen Strings sind (bauen intern nur auf LongWord auf, statt auf einen "Char")
• im Gegensatz zu MSXML (TXMLDocument) kann die Kodierung stärker umgeschaltet werden
  (auch von ANSI/UTF-8 nach Unicode ... MSXML kann z.B. nur umschalten, wenn sich die Zeichengröße in Byte nicht ändert)
• arbeitet nur mit Klassen
  (eine Variante für sehr große Dateien und mit Interfaces aufgebaut, welche die Dateninhalte vorwiegend direkt in der Datei liest, speichert und ändert, kommt vielleicht irgendwann mal)
• eine Thread-Absicherung wurde letztendlich doch nicht direkt integriert,
  aber die CriticalSection wurde dringelassen und kann direkt verwendet werden:
  
  Delphi-Quellcode:

  XML._Lock;
  Try
    ... mach was mit dem XML ...
  Finally
    XML._Unlock;
  End;

• es muß nur jeweils eine Datei eingebunden werden
  himXML, himXMLi, himXML_UseDLL oder himXML_UseDLLi,
  jenachdem mit welcher Schnittstelle man arbeitet
  > wichtige Typen und Konstanten werden in den Dateien weitergeleitet, falls sie nicht in der entsprechenden Unit definiert sind
• ein kleiner Benchmark ist aber schon lauffähig:
  
  Delphi-Quellcode:

  // inklusive Zeitmessung siehe FormCreate
  
  XML := TXMLDocument.Create(Self);
  XML.Active     := True;
  XML.Version    := '1.0';
  XML.StandAlone := 'yes';
  XML.Encoding   := 'UTF-8';
  XML.Options    := [doNodeAutoIndent];
  XML.AddChild('xml');
  For i := 0 to 100000 do XML.DocumentElement.AddChild('Node' + IntToStr(i));
  XML.SaveToFile('test2.xml');
  XML.Free;
  
  // versus
  
  XML := TXMLFile.Create(nil);
  For i := 0 to 100000 do XML.RootNode.Nodes.Add('Node' + IntToStr(i));
  XML.SaveToFile('test.xml');
  XML.Free;

  Delphi-Quellcode:

  //10.000 Nodes (ergibt ca. eine 150 KB-Datei)
  
  TXMLDocument = fill:6749  save:99
  TXMLFile     = fill:  10  save: 7
  
  // 100.000 Nodes (ergibt ca. eine 1,5 MB-Datei)
  
  TXMLDocument = fill:708145  save:348  load:331
  TXMLFile     = fill:   189  save:150  load:319

  Zeiten in Millisekunden
  
  weitere Tests und Vergleiche (auch mit anderen Libs), siehe demos\CheckLibs.dpr
  wer keine Lust hat, vorallem wegen MSXML 'ne halbe Stunde ein Programm laufen zu lassen ... auf den nächsten Seiten befinden sich sporatisch die Testergebnisse verteilt
• "wichtige" Grundfunktionen von .RootNode wurden direkt in die Basisklasse (TXMLFile) umgelegt, sowie von .Nodes in dessen Mutterklasse (TXMLNode)
  
  .Node (.Nodes.Node[], .RootNode.Nodes.Node[] bzw .Nodes[], .RootNode.Nodes[]), .NodeNF (.Nodes.NodeNF bzw. .RootNode.Nodes.NodeNF), .NodeList (.Nodes.NodeList bzw. .RootNode.Nodes.NodeList), .NodeListNF (.Nodes.NodeListNF bzw. .RootNode.Nodes.NodeListNF) und AddNode (.Nodes.Add bzw. .RootNode.Nodes.Add)
  (in Groß siehe Beitrag #65)
• Pfadangaben sind möglich
  in Kurz also XML['node1\node2'] statt XML.RootNode.Nodes['node1'].Nodes['node2']
  ebenso können Parameter und Indizes im Nodepfad angegeben werden (siehe Hilfesektion in himXMLi.pas)
• es kann direkt eine Inline-Verschlüsselung genutzt werden
  einfach für den gewünschten Knoden zusweisen und alles via .Text und .Text_S wird automatisch beim Zuweisen/Auslesen ver-/entschlüsselt
  
  Delphi-Quellcode:

  Node.Crypted := '*';         // Standardverschlüsselung nutzen (erstes in der Liste)
  Node.Crypted := 'RC4';       // RC4 verwenden
  Node.Text := X;              // zuweisen und automatisch verschlüsseln
  X := Node.Text;              // automatisch entschlüsseln und auslesen
  If Node.Crypted <> '' Then   // nur prüfen ob es verschlüsselt ist
  If Node.Crypted = 'RC4' Then // prüfen ob es RC4 verschlüsselt ist
  
  XML.CryptData['RC4'] := S; // anderen Key für RC4 festlegen

  da die Verschlüsselungsroutine Zugriff auf die Node-Attribute hat, könnte man auch eine eigene Verschlüsselung zuweisen, welche z.B. über ein weiteres Attribut jeden Node mit einem eigenem Key verschlüsselt.
  
  Delphi-Quellcode:

  XML.Cryptors       // listet alle registrierten Verschlüsselungen auf
  XML.SetCryptor     // setzt/lösche eine Verschlüsselung
  XML.CryptProc      // siehe SetCryptor
  XML.CryptData      // siehe SetCryptor
  XML.CryptAttrName  // der Name des Attributes, welcher die aktive Verschlüsselung enthält

• • himXML.pas
    - die ganzen Klassen
  • himXMLi.pas
    - die zugehörigen Interfaces (sie spiegeln auch die Funktionalität der Klassen wieder .. nur da halt über TXML... statt IXML...)
    - und enthält auch eine "kleine" Hilfe-Sektion
  • himXML_Tools.pas
    - kleine Zusatzmodule:
    TSimpleAssocVariantArray - sehr einfaches String-assoziatives Array of Variant
    TXMLSerializeRecord_Creator - erzeugt eine Record-Definition für .Serialize/.DeSerialize von Records
    TXMLIniFile - verwendet eine XML-Datei wie eine INI und läßt sich auch wie IniFiles.TIniFile nutzen
    TXMLRegistry - das Gleiche, nur halt mit Registry.TRegistry
    TXMLDatabase - noch unfertig, soll aber irgendwann mal eine XML-Datei wie eine kleine SQL-DB nutzbar machen
  • demos\CheckLibs.dpr
    - einige Tests/Benchmarks zum Projekt und anderen XML-Libs
  • demos\CheckLib_UseDLL.dpr und demos\CheckLib_UseDLLi.dpr
    - das Gleiche, nur über ein externes himXML via DLLs (siehe weiter unten)
  • demos\Demo_Serialize.dpr
    - zeigt einiges zu den (De)Serialisierungsfunktionsn
  • demos\Demo_Tree.dpr
    - 'ne kleine Demo, wo eine XML-Datei in eine TreeView geladen und angezeigt wird
  • demos\SAXParser.dpr
    - hier wird eine kleine XML-Testdatei sequentiel geladen
  • DLLs\himXML_UseDLL.pas und DLLs\himXML_UseDLLi.pas
    - dieses sind die Schnittstellen-Units für die DLLs
    einmal als Objekte und das Andere (mit dem i) als Interfaces
    bei der Objektversion sind die Exceptions noch nicht umgeleitet, also möglichst welche vermeiden
    in der Interfaceversion funktioniert das Freigeben nochn nicht
  • DLLs\himXML_DLL.dpr und DLLs\himXML_DLLi.dpr
    - die zugehörigen DLLs
  • other\*
    - einige andere XML-Libs (verwendet in demos\CheckLibs* )
  • test files\*
    - einige "XML"-Dateien zum Testen

ansonsten bin ich für Tipps und Vorschläge dankbar

[add 13.03.2009]
ach ja falls der Name jemandem nich gefällt ... Beschwerden bitte an Matze richten

[add]
im Beitrag #193 wird etwas über die im Download mit enthalenen anderen XML-Libs geschrieben.


[add]
Achtung, beim Forenupgrad der DP sind die Dateikommentare verschwunden und die Dateinamen sind unglücklich importiert wurden.

himxml_246.7z = v0.9 21.05.2009
himxml_164.7z = v0.99d 12.01.2010
other.7z = 30.12.2010 (only the "other" directory)

[himitsu]

Neu:

Post #1

• es kann direkt eine Inline-Verschlüsselung genutzt werden
  einfach für den gewünschten Knoten zusweisen und alles via .Text und .Text_S wird automatisch beim Zuweisen/Auslesen ver-/entschlüsselt
  
  Delphi-Quellcode:

  Node.Crypted := '*';         // Standardverschlüsselung nutzen (erstes in der Liste)
  Node.Crypted := 'RC4';       // RC4 verwenden
  Node.Text := X;              // zuweisen und automatisch verschlüsseln
  X := Node.Text;              // automatisch entschlüsseln und auslesen
  If Node.Crypted <> '' Then   // nur prüfen ob es verschlüsselt ist
  If Node.Crypted = 'RC4' Then // prüfen ob es RC4 verschlüsselt ist
  
  XML.CryptData['RC4'] := S; // anderen Key für RC4 festlegen

  da die Verschlüsselungsroutine Zugriff auf die Node-Attribute hat, könnte man auch eine eigene Verschlüsselung zuweisen, welche z.B. über ein weiteres Attribut jeden Node mit einem eigenem Key verschlüsselt.
  
  Delphi-Quellcode:

  XML.Cryptors       // listet alle registrierten Verschlüsselungen auf
  XML.SetCryptor     // setzt/lösche eine Verschlüsselung
  XML.CryptProc      // siehe SetCryptor
  XML.CryptData      // siehe SetCryptor
  XML.CryptAttrName  // der Name des Attributes, welcher die aktive Verschlüsselung enthält

Und dann hab ich noch einen bösen Fehler in der Base64-Codierung entdeckt
bei der letzen Typenumstellung wurde die Zählweise nicht angepaßt und so kam nicht das raus, was rauskommen sollte und es konnten auch mal nette Exceptions auftauchen, da Pufferüberlauf entstand.
z.B.
alt: Inc(Pv, 3);
neu: Inc(Pv);

früher war es ein Bytearray über den gesamten String, jetzt ist z.B. Pv nur noch ein Zeiger auf Array[0..2] of Byte.

[Satty67]

Hallo,

leider hab' ich ein paar Probleme zu berichten:

1)

Programme mit eingebundener himXML-Unit brechen unter Windows 7 RC sofort ab. Die neuesten Demo-Binaries einfach so (scheinbar wegen Console), mein VCL-Testprogramm mit Runtime-Error 217.

Dabei konnte ich es so weit runter reduzieren, das alleine das Einbinden der Unit himXML ausreicht (ohne irgend ein .create). Der Fehler liegt also im Initialization-Teil der Unit. Da ich unter Windows 7 RC noch keine BDS Umgebung hab', kann ich leider nicht mit genaueren Informationen dienen. Wenn Du kein Win7 zu Testen hast, gib kurz Bescheid und ich installiere dann ein BDS unter Win7 um es genauer definieren zu können.

2)

Die neueste hier gepostete Version lässt sich nicht mehr unter TDE2006 kompilieren. Besitze inzw. zwar auch BDS 2007, aber bis TDE 2006 abwärts wollte zumindest ich noch eine abwärts Kompatibilität (muss nicht zwingend Dein Anliegen sein)

Die erste Fehler-Meldung beim compilieren:
[Pascal Fehler] himXML.pas(1702): E2251 Doppeldeutiger überladener Aufruf von 'CreateEx'
bei Zeile 1702 [himXML]:
If (L < 0) or (i > 0) Then Raise EXMLException.CreateEx(nil, 'Crypt_Base64Decode', @SCorupptedBase64);

[himitsu]

och, 2) ist leicht zu beheben

ersetze einfach mal das nil durch TXMLFile

zu 1)
hab grad kein Win7 installiert

im Anhang hab ich mal eine kleine Log-Funktion in die Init-Prozedur eingebaut
> erstellt eine CheckLibs.exe.log im Programmverzeichnis

[add]
217 = reControlBreak
hab ich da einen übersehn?
[add2]
nee, nix zu finden (der Einzige ist auskommentiert)

[edit]
Anhang entfernt ... braucht ja nun keiner mehr

[Satty67]

Problem 2) gelöst
Problem 1) besteht noch, die LOG-Datei ist in der Anlage

[himitsu]

also quasi bricht er hier ab

Delphi-Quellcode:

// check for chars out of upper/lower blocks
If not CompareMem(@Chars, @Chars2, SizeOf(Chars)) Then
  Raise EXMLException.CreateEx(Self, 'Initialize', @SInternalError, [2]);

nur warum zeigt sich die Exception nicht?


gut, dann nochmal, mit geändertem Log

vielleicht bekomm ich ja wenigstens den Grund für die Excetion weg.
auch wenn ich dann noch nicht weiß, warum die Excetion nicht angezeigt wird

[edit]
Anhang entfernt ... braucht ja nun keiner mehr

[Satty67]

Ok, Checklibs.exe startet und beendet jetzt ohne Fehlermeldung. (Der LOG-Inhalt lässt auf einen Fehler schließen)

Aber die Tests werden scheinbar nicht ausgeführt (sollte ja eine console mit testErgebnisssen aufgehen, aber flackert nur kurz... glaube nicht das Win7 soviel schneller ist )

[himitsu]

ups, zwei AND vergessen

eigentlich sollten da pro Zeile je 2 HexCodes von Unicodezeichen sein


ich installier mir W7 endlich grad ... mal sehn, ob es in der VM auch so rumzickt, wie bei dir

[edit]
Anhang entfernt ... braucht ja nun keiner mehr

[Satty67]

Die Log meldet zwar immer noch einen Initialisierungsfehler, hat aber eine etwas besser aussehende Datentabelle

Window 7 RC läuft wie ein Kätzchen in der VM, nur DirectX Anwendungen naturgemäß nicht-

[himitsu]

also in Consolen wird auch ein Fehler angezeigt
z.B. über die Console oder mit einer CheckLibs.cmd

Code:

CheckLibs.exe
PAUSE

Code:

C:\Users\Frank\Desktop>CheckLibs.exe
Exception EXMLException in Modul CheckLibs.exe bei 0001D489.
EXMLException (TXMLFile.Initialize):
internal error (2).

C:\Users\Frank\Desktop>PAUSE
Drücken Sie eine beliebige Taste . . .

ich laß ja die Exception im Consolen-Modus über die Console ausgeben und nicht als Fenster

allerdings wollte ich dann daß Programm nicht anhalten, um nicht den Programmfluß der z.B. einer Batchdatei nicht zu behindern.

Aber ich werd mal sehen, wenn das Programm alleine läuft, ob und wie ich da eine Pause einbauen kann.

[add]
ach neee, ich hab hier die Exceptionbehandlung mal nicht selber implementiert und nutze den Delphi-Standard, also nix mit Pause
[/add]

[add2]
und im VCL-Modus wird bei mir auch die Exception angezeigt, als läuft doch alles

OK, ich werd nur noch etwas die Initialisierung überarbeiten.

Der Grund ist übrigens, daß ich zum Vergleichen nicht mher ständig direkt über die WinAPI geh, sondern mir nur Anfangs eine kleine Kopie anlege, aber da nicht über den gesamten Unicode-Bereich, sondern nur Ausschnittsweise und diese Meldung besagt einfach nur, daß es nun (in Win7) Bereiche gibt, die ich nicht abgedeckt hab und dann wirft meine Lib mit einer Exception und bricht ab
[/add2]

Ja und das andere ... In Win7 Wurde wohl kräftig am Unicode rumgeschraubt und viel Neues eingebaut.


Ich glaub ich nehm besser mal diese eine Exception raus und schalte dann beim Vergleich in einen anderen Modus, welcher diese Initialwerte nicht benötigt

nur die rießen Vista/Win7-Icons in einem kleinem 896x600-VM-Bildchirmchen ... da passen ja grad mal 5 Untereinander und der Desktop ist voll

[Satty67]

Zitat von himitsu:

ich laß ja die Exception im Consolen-Modus über die Console ausgeben und nicht als Fenster

Stimmt, das Konsolenfenster wird natürlich geschlossen ohne "pause" oder dergleichen...

Bis Ende des Jahres ist ja Zeit, bis himXML auch Win7 kompatibel sein sollte, aber gibt halt Sodbrennen, solange man weis, dass es nicht läuft. Auf himXML verzichten kann ich auf keinen Fall, alles in allem erheblich smarter anzuwenden, als MSXML (vom Rest ganz zu schweigen).

896x600 hmm... mir wird mein 19"er schon langsam zu eng, ich geh jetzt frühstücken...