himXML (gesprochen himix ML)

[himitsu]

wollt eigentlich nur mal die ersten Fortschritte eines vor kurzem längerem begonnen Projektes vorstellen

es ist "nur" eine weitere kleine XML-Klasse.

der Grund war eigentlich, daß mir andere XML-Projekte zu rießig sind
und MSMXL (TXMLDocument) nicht grad schnell.

[info]
aktuell entwickle ich unter D2009 und direkt kompatibel düfte es bis Delphi 2006 / Turbo Delphi sein

und Aufgrund einiger Anfragen versuch ich, sobald es da "gut" läuft, eine Extraversion weiter abwärtskompatibel zu machen ... mal sehn, bis wie weit runter das geht
[/info]
[add 04.01.2001] aktuell sieht es so aus, als wenn es schonmal bis zu D7 läuft [add/]

aktueller Post: http://www.delphipraxis.net/internal...116416#1116416 #193

• aktuell ab Delphi 2006 bzw. Turbo Delphi und auch für Delphi2009
  ab Windows 2000 und öfters mal in Windows 7 getestet
• zu den möglichen unterstützten Delphi-Versionen gibt es, Aufgrund häufiger Nachfragen, in Beitrag #191 eine kleine Zusammenfassung.
• Lizenzen: MPL v1.1 , GPL v3.0 oder LGPL v3.0
  es sollte also hoffentlich mit vielen anderen Lizenzen kompatibel sein
• arbeitet weitetgehend nach XML-Standard 1.0 (Fifth Edition)
  und Extensible Markup Language (XML) 1.1 (Second Edition)
• ist nicht validierend
• ein einzulesendes Dokument sollte aber möglichst "Well-Formed" (wohlgeformt) sein
• es wird nur der "Standard" unterstützt ... andere DTDs oder ähnliche Informationen werden nicht unterstützt
• also <!xyz text> wird zwar ausgelesen, aber "text" wird nicht auswertet
• <![CDATA[text]]> wird dagen natürlich behandelt
• <?xyz text ?> wird unterstützt, allerdings wird "text" geparst und in Parameter zerlegt (also wird es Probleme geben falls sich "text" mal nicht in Parameter zerlegen läßt)
  (nach XML 1.0 wird "text" eigentlich nicht zuerlegt im XML-Baum abgelegt, sondern nur XML-Prozessor-intern verarbeitet oder ignoriert)
• unterstützte Kodierungen (teilweise auch via BOM):
  UTF-7, UTF-8, UTF-16, ISO-10646-UCS-2 (littel endian), Unicode (big endian)
  ISO-8859-1 bis ISO-8859-9, ISO-2022-JP, EUC-JP, SHIFT-JIS und WINDOWS-1250 bis WINDOWS-1258
• UCS-4 (4 Byte-Unicode) wird nicht unterstützt,
  denn leider kann man immernoch nicht mit UCS4Char und UCS4String richtig arbeiten, vorallem da sie vollkommen inkompatibel zu den anderen Strings sind (bauen intern nur auf LongWord auf, statt auf einen "Char")
• im Gegensatz zu MSXML (TXMLDocument) kann die Kodierung stärker umgeschaltet werden
  (auch von ANSI/UTF-8 nach Unicode ... MSXML kann z.B. nur umschalten, wenn sich die Zeichengröße in Byte nicht ändert)
• arbeitet nur mit Klassen
  (eine Variante für sehr große Dateien und mit Interfaces aufgebaut, welche die Dateninhalte vorwiegend direkt in der Datei liest, speichert und ändert, kommt vielleicht irgendwann mal)
• eine Thread-Absicherung wurde letztendlich doch nicht direkt integriert,
  aber die CriticalSection wurde dringelassen und kann direkt verwendet werden:
  
  Delphi-Quellcode:

  XML._Lock;
  Try
    ... mach was mit dem XML ...
  Finally
    XML._Unlock;
  End;

• es muß nur jeweils eine Datei eingebunden werden
  himXML, himXMLi, himXML_UseDLL oder himXML_UseDLLi,
  jenachdem mit welcher Schnittstelle man arbeitet
  > wichtige Typen und Konstanten werden in den Dateien weitergeleitet, falls sie nicht in der entsprechenden Unit definiert sind
• ein kleiner Benchmark ist aber schon lauffähig:
  
  Delphi-Quellcode:

  // inklusive Zeitmessung siehe FormCreate
  
  XML := TXMLDocument.Create(Self);
  XML.Active     := True;
  XML.Version    := '1.0';
  XML.StandAlone := 'yes';
  XML.Encoding   := 'UTF-8';
  XML.Options    := [doNodeAutoIndent];
  XML.AddChild('xml');
  For i := 0 to 100000 do XML.DocumentElement.AddChild('Node' + IntToStr(i));
  XML.SaveToFile('test2.xml');
  XML.Free;
  
  // versus
  
  XML := TXMLFile.Create(nil);
  For i := 0 to 100000 do XML.RootNode.Nodes.Add('Node' + IntToStr(i));
  XML.SaveToFile('test.xml');
  XML.Free;

  Delphi-Quellcode:

  //10.000 Nodes (ergibt ca. eine 150 KB-Datei)
  
  TXMLDocument = fill:6749  save:99
  TXMLFile     = fill:  10  save: 7
  
  // 100.000 Nodes (ergibt ca. eine 1,5 MB-Datei)
  
  TXMLDocument = fill:708145  save:348  load:331
  TXMLFile     = fill:   189  save:150  load:319

  Zeiten in Millisekunden
  
  weitere Tests und Vergleiche (auch mit anderen Libs), siehe demos\CheckLibs.dpr
  wer keine Lust hat, vorallem wegen MSXML 'ne halbe Stunde ein Programm laufen zu lassen ... auf den nächsten Seiten befinden sich sporatisch die Testergebnisse verteilt
• "wichtige" Grundfunktionen von .RootNode wurden direkt in die Basisklasse (TXMLFile) umgelegt, sowie von .Nodes in dessen Mutterklasse (TXMLNode)
  
  .Node (.Nodes.Node[], .RootNode.Nodes.Node[] bzw .Nodes[], .RootNode.Nodes[]), .NodeNF (.Nodes.NodeNF bzw. .RootNode.Nodes.NodeNF), .NodeList (.Nodes.NodeList bzw. .RootNode.Nodes.NodeList), .NodeListNF (.Nodes.NodeListNF bzw. .RootNode.Nodes.NodeListNF) und AddNode (.Nodes.Add bzw. .RootNode.Nodes.Add)
  (in Groß siehe Beitrag #65)
• Pfadangaben sind möglich
  in Kurz also XML['node1\node2'] statt XML.RootNode.Nodes['node1'].Nodes['node2']
  ebenso können Parameter und Indizes im Nodepfad angegeben werden (siehe Hilfesektion in himXMLi.pas)
• es kann direkt eine Inline-Verschlüsselung genutzt werden
  einfach für den gewünschten Knoden zusweisen und alles via .Text und .Text_S wird automatisch beim Zuweisen/Auslesen ver-/entschlüsselt
  
  Delphi-Quellcode:

  Node.Crypted := '*';         // Standardverschlüsselung nutzen (erstes in der Liste)
  Node.Crypted := 'RC4';       // RC4 verwenden
  Node.Text := X;              // zuweisen und automatisch verschlüsseln
  X := Node.Text;              // automatisch entschlüsseln und auslesen
  If Node.Crypted <> '' Then   // nur prüfen ob es verschlüsselt ist
  If Node.Crypted = 'RC4' Then // prüfen ob es RC4 verschlüsselt ist
  
  XML.CryptData['RC4'] := S; // anderen Key für RC4 festlegen

  da die Verschlüsselungsroutine Zugriff auf die Node-Attribute hat, könnte man auch eine eigene Verschlüsselung zuweisen, welche z.B. über ein weiteres Attribut jeden Node mit einem eigenem Key verschlüsselt.
  
  Delphi-Quellcode:

  XML.Cryptors       // listet alle registrierten Verschlüsselungen auf
  XML.SetCryptor     // setzt/lösche eine Verschlüsselung
  XML.CryptProc      // siehe SetCryptor
  XML.CryptData      // siehe SetCryptor
  XML.CryptAttrName  // der Name des Attributes, welcher die aktive Verschlüsselung enthält

• • himXML.pas
    - die ganzen Klassen
  • himXMLi.pas
    - die zugehörigen Interfaces (sie spiegeln auch die Funktionalität der Klassen wieder .. nur da halt über TXML... statt IXML...)
    - und enthält auch eine "kleine" Hilfe-Sektion
  • himXML_Tools.pas
    - kleine Zusatzmodule:
    TSimpleAssocVariantArray - sehr einfaches String-assoziatives Array of Variant
    TXMLSerializeRecord_Creator - erzeugt eine Record-Definition für .Serialize/.DeSerialize von Records
    TXMLIniFile - verwendet eine XML-Datei wie eine INI und läßt sich auch wie IniFiles.TIniFile nutzen
    TXMLRegistry - das Gleiche, nur halt mit Registry.TRegistry
    TXMLDatabase - noch unfertig, soll aber irgendwann mal eine XML-Datei wie eine kleine SQL-DB nutzbar machen
  • demos\CheckLibs.dpr
    - einige Tests/Benchmarks zum Projekt und anderen XML-Libs
  • demos\CheckLib_UseDLL.dpr und demos\CheckLib_UseDLLi.dpr
    - das Gleiche, nur über ein externes himXML via DLLs (siehe weiter unten)
  • demos\Demo_Serialize.dpr
    - zeigt einiges zu den (De)Serialisierungsfunktionsn
  • demos\Demo_Tree.dpr
    - 'ne kleine Demo, wo eine XML-Datei in eine TreeView geladen und angezeigt wird
  • demos\SAXParser.dpr
    - hier wird eine kleine XML-Testdatei sequentiel geladen
  • DLLs\himXML_UseDLL.pas und DLLs\himXML_UseDLLi.pas
    - dieses sind die Schnittstellen-Units für die DLLs
    einmal als Objekte und das Andere (mit dem i) als Interfaces
    bei der Objektversion sind die Exceptions noch nicht umgeleitet, also möglichst welche vermeiden
    in der Interfaceversion funktioniert das Freigeben nochn nicht
  • DLLs\himXML_DLL.dpr und DLLs\himXML_DLLi.dpr
    - die zugehörigen DLLs
  • other\*
    - einige andere XML-Libs (verwendet in demos\CheckLibs* )
  • test files\*
    - einige "XML"-Dateien zum Testen

ansonsten bin ich für Tipps und Vorschläge dankbar

[add 13.03.2009]
ach ja falls der Name jemandem nich gefällt ... Beschwerden bitte an Matze richten

[add]
im Beitrag #193 wird etwas über die im Download mit enthalenen anderen XML-Libs geschrieben.


[add]
Achtung, beim Forenupgrad der DP sind die Dateikommentare verschwunden und die Dateinamen sind unglücklich importiert wurden.

himxml_246.7z = v0.9 21.05.2009
himxml_164.7z = v0.99d 12.01.2010
other.7z = 30.12.2010 (only the "other" directory)

[Zwoetzen]

Die besten Fehler sind doch sowieso:

---------------------------
Project1
---------------------------
Es ist ein Fehler aufgetreten
---------------------------
OK Abbrechen
---------------------------

[himitsu]

Zitat von Zwoetzen:

---------------------------
Project1
---------------------------
Es ist ein Fehler aufgetreten
---------------------------
OK Abbrechen
---------------------------

also das ist definitiv keine meiner Exceptions ... kann mich jedenfalls nicht erinnern irgendwo sowas noch verbaut zu haben.

außerdem sollten alle meine selbstausgelösten Exceptions mindestens den Namen der Funktion enthalten, worin diese erzeugt wurde.

[edit] und selbst in den Delphi-Sourcen konnte ich soeine Meldung nicht finden ... könnte also vermutlich eine Windows-Meldung sein

[Zwoetzen]

Das war nicht auf himiXML bezogen, sondern allgemein auf Programme, wo man sowas ab und zu mal zu gesicht bekommt

(Sorry, falls das nicht direkt klar rübergekommen ist )

[Zwoetzen]

Hmm wollte jetzt mal ein wenig mit himXML arbeiten, doch bekomme ich beim Versuch einen XML-String zu setzen nur ein

Zitat von himXML:

EXMLException (TXMLFile.ReadData):
invalid file encoding.

Ich vermute, dass es da einfach Probleme mit den verschiedenen String-Typen gibt, nur kenn ich mich da nicht sonderlich gut aus ^^
Könntest du mir sagen, wie es richtig heißen muss? Momentan verwende ich (aufs Problem angepasst):

Delphi-Quellcode:

var
  XML: TXMLFile;
begin
  XML := TXMLFile.Create;
  try
    //XML.asXML := FContent;
    XML.asXML := '<root>â</root>'; // <-- Hier macht es Bumm
  finally
    XML.Free;
  end;
end;

Wie gesagt, ich denke, es wird an der (impliziten) Umwandlung String -> AnsiString liegen, habe auch schon bissl probiert, aber mangels Wissen war ich nicht wirklich erfolgreich.

Würde mich freuen, wenn du mir helfen kannst

MfG Zwoetzen


PS: Habe auch nen Tippfehler in einer Fehlermeldung entdeckt:

Zitat von himXML:

EXMLException (TXMLNodeList.Add):
text node can't constain subnodes.

Ich denke das s in "constain" ist zu viel (wollte dich nur mal drauf hinweisen auch wenn die Fehler wohl nochmal geändert werden )

[Satty67]

Ist ja auch kein vollständiges XML, sowas würde gehen:
XML.asXML := '<?xml version="1.0" encoding="UTF-8" standalone="yes" ?><root>â</root>'; oder

Delphi-Quellcode:

XML := TXMLfile.Create(self, 'root');
XML.RootNode.Text := 'â';

€: hast soweit recht, dass das Zeichen â scheinbar (bei asXML) für Verwirrung sorgt. Konnte jetzt auch nicht ermitteln, unter welcher Zeichencodierung das auch so in der Datei steht und damit eine gültige XML-Struktur wäre.

Das funktioniert auch nicht, sollte es aber, da das eine gültiges XML ist
XML.asXML := '<?xml version="1.0" encoding="ISO-8859-1" standalone="yes" ?><root>â</root>'; Sieht so aus, als ob asXML an der UTF-8 Kodierung festhält

[Zwoetzen]

Danke für deine Antwort

Die erste Variante ändert nix: Selbst mit ordentlichem XML-Header kommt der Encoding-Fehler.

Der zweite Vorschlag bringt etwas Besserung, allerdings erhalte ich später dann die Meldung

Zitat von himXML:

EXMLException (TXMLNodeList.Add):
text node can't constain subnodes.

wenn ich versuche, auf einen Knoten zuzugreifen.
Ich denke es hängt damit zusammen, das himXML bei der Zuweisung an .TExt davon ausgeht, dass es wirklich nur Text ist, und somit diesen nicht weiter parst.

Ich habe auch probiert, statts .Text das .XMLText zum zuweisen zu verwenden, doch dann bekomme ich den Fehler

Zitat von himXML:

EXMLException (TXMLFile.ParsingTree):
unexcepting end of data - not all opened tags are closed

error at byte position 11.498 ("#000D#000A " on line 75)

wobei der zugewiesene String wohlgeformtes XML ist.



Als Information:
Die Quelldaten habe ich mit zuvor als XHTML-Datei aus dem Internet geladen, und bereits das genauer zu analysierende <div> extrahiert. Das heißt ich habe ein <div> als Wurzelknoten im String, was dann natürlich alles mögliche noch enthält. Der extrahierte Code ist dabei gültiges XHTML, sollte also keine Probleme geben.
Das Dokument liegt dabei als UTF-8 vor, und ich lade es mittels IdHTTP.Get in einen String. Nach ein paar String-Operationen (Extrahieren des gewünschten divs) will ich diesen nun als XML interpretieren lassen um ihn weiter analysieren zu können (wird sonst mot Pos/PosEx etwas mühselig ^^).


(Btw: Habe ich schon erwähnt, dass ich Delphi2009 unter Windows7 verwende? Keine Ahnung, ob das irgendwie Auswirkungen hat, Delphi2009 wird laut erstem Post auf jeden Fall unterstützt, Windows7 laut Seite 5 des Threads oder so auch.)

[himitsu]

Unter Delphi2009 wird es hauptsächlich entwickelt und dann abund zu mal in TDE und D7 getestet
und Windows (auch Windows 7) hat eigentlich nur einen Einfluß auf die caseinsensitiven Namensvergleiche und wa wurd ja vor Kurzem alles an Win7 angepaßt und nun auch eine Notfallalternative implementiert,
also da sollte es zumindestens keine Probleme mehr geben ... es hängt also nur noch von der Delphiversion ab.

<root>â</root> ist insofern eine ungültige Codierung, da XML ohne Angabe einer Codierung standardmäßig UTF-8 ist.

Node.Text nimmt nur "Text" entgegen, welcher in dem Node gespeichert wird, ansonsten gibt es noch Node.XMLText, welches eine XML-Struktur entgegennehmen würde (ähnlich zu Document.asXML).

Document.asXML wird nur an LoadFromXML/SaveToXML weitergeleitet und sollte eigentlich auch andere Codierungen verstehen können.

Wegen dem Rest muß ich dann mal in Ruhe schauen (hab hier grad kein Delphi und auch etwas wenig Zeit)

[Zwoetzen]

Danke für deine Antwort.
Nehm dir ruhig die Zeit, die du brauchst, vorrübergehend arbeite ich mit einer "korrigierten" Version der XHTML-Datei, wo ich die ganzen Sonderzeichen korrigiert habe, sodass die Datei problemlos eingelesen kann und ich die Auswertung schonmal programmieren kann



Allerdings bin ich da schon auf einen nächsten Fehler gestoßen:

Test-Prozedur:

Delphi-Quellcode:

procedure TForm1.Button2Click(Sender: TObject);
const
  S: String = '<root>Some Text<child>Ding</child>Something else</root>'; // <-- Sollte gültiges XML sein
var
  XML: TXMLFile;
begin
  XML := TXMLFile.Create;
  try
    XML.asXML := S;
    ShowMessage(XML.RootNode.XMLText);
  finally
    XML.Free;
  end;
end;

Normalerweise würde man davon ausgehen, dass man nun als Ausgabe genau den Teil zwischen den <root>-Tags bekommt, allerdings erscheint:

Zitat von ShowMessage:

Some Tex
<child>Ding</child>
Something els

Das bedeutet, dass sowohl das letzte Zeichen vor dem öffnenden <child> als auch vor dem schließenden </root> fehlt. Habe es mit verschiedenen Werten probiert, es scheint immer genau ein Zeichen zu fehlen.

[himitsu]

Also das asXML bzw. XMLText nimmt wirklich keine anderen Kodierungen an, da hab ich wohl etwas "falsch" bedacht, wird mit dem nächsten Update geändert.
(nur das dauert noch etwas, da sich grad einiges ändert und noch nicht alles fertig ist)

Du könntest aber deinen Text in einen Stream und das XML dann von dort laden.

in etwa so:

Delphi-Quellcode:

var MS: TMemoryStream;
  Text: AnsiString;

MS := TMemoryStream.Create;
MS.WriteBuffer(Text[1], Length(Text));
MS.Position := 0;
XML.LoadFromStream(MS);
MS.Free;

Zitat:

<root>Some Text<child>Ding</child>Something else</root>

Ist kein valides XML ... dieses ist nur eine "Untat", welche aus HTML bekannt ist.
Ein Knoten enthält entweder Unterknoten oder Text,
aber ich eigentlich sollte sowas schon möglich sein, da über die Option xoAllowUnknownText (standardmäig gesetzt), bei derartigem Text-Knoten-Mischmasch der Text jeweils in Unterknoten vom Typ xtUnknown ausgelagert werden sollte,
allerding klappt das nicht unter allen Umständen.
Mein letzter Versuch verlief da nicht so gut > http://www.delphipraxis.net/internal...042683#1042683 ,
wobei HTML selber ja kaum noch ein valides XML darstellt.

[Zwoetzen]

Das mit der Kodierung muss ich ein andern mal in Ruhe anschauen, auf Anhieb hatte es grad nicht geklappt.


Aber zu dem "Fehler":
Sollte XHTML nicht eigentlich valides XML sein? (Dass HTML keins ist, ist klar, dachte bisher, dass XHTML eigentlich gültiges XML sein sollte.)

Und mal von dem valide abgesehen: Sollte nicht das, was "reingetan" wird, bei .XMLText auch 1:1 wieder rauskommen? Denn ich würde es so verstehen, dass .XMLText den Inhalt eben 1:1 wiedergibt. (Ok, wenn der Testcode nicht erlaubt ist, ist die Korrektheit natürlich nichtmehr garantiert.)