himXML (gesprochen himix ML)

[himitsu]

wollt eigentlich nur mal die ersten Fortschritte eines vor kurzem längerem begonnen Projektes vorstellen

es ist "nur" eine weitere kleine XML-Klasse.

der Grund war eigentlich, daß mir andere XML-Projekte zu rießig sind
und MSMXL (TXMLDocument) nicht grad schnell.

[info]
aktuell entwickle ich unter D2009 und direkt kompatibel düfte es bis Delphi 2006 / Turbo Delphi sein

und Aufgrund einiger Anfragen versuch ich, sobald es da "gut" läuft, eine Extraversion weiter abwärtskompatibel zu machen ... mal sehn, bis wie weit runter das geht
[/info]
[add 04.01.2001] aktuell sieht es so aus, als wenn es schonmal bis zu D7 läuft [add/]

aktueller Post: http://www.delphipraxis.net/internal...116416#1116416 #193

• aktuell ab Delphi 2006 bzw. Turbo Delphi und auch für Delphi2009
  ab Windows 2000 und öfters mal in Windows 7 getestet
• zu den möglichen unterstützten Delphi-Versionen gibt es, Aufgrund häufiger Nachfragen, in Beitrag #191 eine kleine Zusammenfassung.
• Lizenzen: MPL v1.1 , GPL v3.0 oder LGPL v3.0
  es sollte also hoffentlich mit vielen anderen Lizenzen kompatibel sein
• arbeitet weitetgehend nach XML-Standard 1.0 (Fifth Edition)
  und Extensible Markup Language (XML) 1.1 (Second Edition)
• ist nicht validierend
• ein einzulesendes Dokument sollte aber möglichst "Well-Formed" (wohlgeformt) sein
• es wird nur der "Standard" unterstützt ... andere DTDs oder ähnliche Informationen werden nicht unterstützt
• also <!xyz text> wird zwar ausgelesen, aber "text" wird nicht auswertet
• <![CDATA[text]]> wird dagen natürlich behandelt
• <?xyz text ?> wird unterstützt, allerdings wird "text" geparst und in Parameter zerlegt (also wird es Probleme geben falls sich "text" mal nicht in Parameter zerlegen läßt)
  (nach XML 1.0 wird "text" eigentlich nicht zuerlegt im XML-Baum abgelegt, sondern nur XML-Prozessor-intern verarbeitet oder ignoriert)
• unterstützte Kodierungen (teilweise auch via BOM):
  UTF-7, UTF-8, UTF-16, ISO-10646-UCS-2 (littel endian), Unicode (big endian)
  ISO-8859-1 bis ISO-8859-9, ISO-2022-JP, EUC-JP, SHIFT-JIS und WINDOWS-1250 bis WINDOWS-1258
• UCS-4 (4 Byte-Unicode) wird nicht unterstützt,
  denn leider kann man immernoch nicht mit UCS4Char und UCS4String richtig arbeiten, vorallem da sie vollkommen inkompatibel zu den anderen Strings sind (bauen intern nur auf LongWord auf, statt auf einen "Char")
• im Gegensatz zu MSXML (TXMLDocument) kann die Kodierung stärker umgeschaltet werden
  (auch von ANSI/UTF-8 nach Unicode ... MSXML kann z.B. nur umschalten, wenn sich die Zeichengröße in Byte nicht ändert)
• arbeitet nur mit Klassen
  (eine Variante für sehr große Dateien und mit Interfaces aufgebaut, welche die Dateninhalte vorwiegend direkt in der Datei liest, speichert und ändert, kommt vielleicht irgendwann mal)
• eine Thread-Absicherung wurde letztendlich doch nicht direkt integriert,
  aber die CriticalSection wurde dringelassen und kann direkt verwendet werden:
  
  Delphi-Quellcode:

  XML._Lock;
  Try
    ... mach was mit dem XML ...
  Finally
    XML._Unlock;
  End;

• es muß nur jeweils eine Datei eingebunden werden
  himXML, himXMLi, himXML_UseDLL oder himXML_UseDLLi,
  jenachdem mit welcher Schnittstelle man arbeitet
  > wichtige Typen und Konstanten werden in den Dateien weitergeleitet, falls sie nicht in der entsprechenden Unit definiert sind
• ein kleiner Benchmark ist aber schon lauffähig:
  
  Delphi-Quellcode:

  // inklusive Zeitmessung siehe FormCreate
  
  XML := TXMLDocument.Create(Self);
  XML.Active     := True;
  XML.Version    := '1.0';
  XML.StandAlone := 'yes';
  XML.Encoding   := 'UTF-8';
  XML.Options    := [doNodeAutoIndent];
  XML.AddChild('xml');
  For i := 0 to 100000 do XML.DocumentElement.AddChild('Node' + IntToStr(i));
  XML.SaveToFile('test2.xml');
  XML.Free;
  
  // versus
  
  XML := TXMLFile.Create(nil);
  For i := 0 to 100000 do XML.RootNode.Nodes.Add('Node' + IntToStr(i));
  XML.SaveToFile('test.xml');
  XML.Free;

  Delphi-Quellcode:

  //10.000 Nodes (ergibt ca. eine 150 KB-Datei)
  
  TXMLDocument = fill:6749  save:99
  TXMLFile     = fill:  10  save: 7
  
  // 100.000 Nodes (ergibt ca. eine 1,5 MB-Datei)
  
  TXMLDocument = fill:708145  save:348  load:331
  TXMLFile     = fill:   189  save:150  load:319

  Zeiten in Millisekunden
  
  weitere Tests und Vergleiche (auch mit anderen Libs), siehe demos\CheckLibs.dpr
  wer keine Lust hat, vorallem wegen MSXML 'ne halbe Stunde ein Programm laufen zu lassen ... auf den nächsten Seiten befinden sich sporatisch die Testergebnisse verteilt
• "wichtige" Grundfunktionen von .RootNode wurden direkt in die Basisklasse (TXMLFile) umgelegt, sowie von .Nodes in dessen Mutterklasse (TXMLNode)
  
  .Node (.Nodes.Node[], .RootNode.Nodes.Node[] bzw .Nodes[], .RootNode.Nodes[]), .NodeNF (.Nodes.NodeNF bzw. .RootNode.Nodes.NodeNF), .NodeList (.Nodes.NodeList bzw. .RootNode.Nodes.NodeList), .NodeListNF (.Nodes.NodeListNF bzw. .RootNode.Nodes.NodeListNF) und AddNode (.Nodes.Add bzw. .RootNode.Nodes.Add)
  (in Groß siehe Beitrag #65)
• Pfadangaben sind möglich
  in Kurz also XML['node1\node2'] statt XML.RootNode.Nodes['node1'].Nodes['node2']
  ebenso können Parameter und Indizes im Nodepfad angegeben werden (siehe Hilfesektion in himXMLi.pas)
• es kann direkt eine Inline-Verschlüsselung genutzt werden
  einfach für den gewünschten Knoden zusweisen und alles via .Text und .Text_S wird automatisch beim Zuweisen/Auslesen ver-/entschlüsselt
  
  Delphi-Quellcode:

  Node.Crypted := '*';         // Standardverschlüsselung nutzen (erstes in der Liste)
  Node.Crypted := 'RC4';       // RC4 verwenden
  Node.Text := X;              // zuweisen und automatisch verschlüsseln
  X := Node.Text;              // automatisch entschlüsseln und auslesen
  If Node.Crypted <> '' Then   // nur prüfen ob es verschlüsselt ist
  If Node.Crypted = 'RC4' Then // prüfen ob es RC4 verschlüsselt ist
  
  XML.CryptData['RC4'] := S; // anderen Key für RC4 festlegen

  da die Verschlüsselungsroutine Zugriff auf die Node-Attribute hat, könnte man auch eine eigene Verschlüsselung zuweisen, welche z.B. über ein weiteres Attribut jeden Node mit einem eigenem Key verschlüsselt.
  
  Delphi-Quellcode:

  XML.Cryptors       // listet alle registrierten Verschlüsselungen auf
  XML.SetCryptor     // setzt/lösche eine Verschlüsselung
  XML.CryptProc      // siehe SetCryptor
  XML.CryptData      // siehe SetCryptor
  XML.CryptAttrName  // der Name des Attributes, welcher die aktive Verschlüsselung enthält

• • himXML.pas
    - die ganzen Klassen
  • himXMLi.pas
    - die zugehörigen Interfaces (sie spiegeln auch die Funktionalität der Klassen wieder .. nur da halt über TXML... statt IXML...)
    - und enthält auch eine "kleine" Hilfe-Sektion
  • himXML_Tools.pas
    - kleine Zusatzmodule:
    TSimpleAssocVariantArray - sehr einfaches String-assoziatives Array of Variant
    TXMLSerializeRecord_Creator - erzeugt eine Record-Definition für .Serialize/.DeSerialize von Records
    TXMLIniFile - verwendet eine XML-Datei wie eine INI und läßt sich auch wie IniFiles.TIniFile nutzen
    TXMLRegistry - das Gleiche, nur halt mit Registry.TRegistry
    TXMLDatabase - noch unfertig, soll aber irgendwann mal eine XML-Datei wie eine kleine SQL-DB nutzbar machen
  • demos\CheckLibs.dpr
    - einige Tests/Benchmarks zum Projekt und anderen XML-Libs
  • demos\CheckLib_UseDLL.dpr und demos\CheckLib_UseDLLi.dpr
    - das Gleiche, nur über ein externes himXML via DLLs (siehe weiter unten)
  • demos\Demo_Serialize.dpr
    - zeigt einiges zu den (De)Serialisierungsfunktionsn
  • demos\Demo_Tree.dpr
    - 'ne kleine Demo, wo eine XML-Datei in eine TreeView geladen und angezeigt wird
  • demos\SAXParser.dpr
    - hier wird eine kleine XML-Testdatei sequentiel geladen
  • DLLs\himXML_UseDLL.pas und DLLs\himXML_UseDLLi.pas
    - dieses sind die Schnittstellen-Units für die DLLs
    einmal als Objekte und das Andere (mit dem i) als Interfaces
    bei der Objektversion sind die Exceptions noch nicht umgeleitet, also möglichst welche vermeiden
    in der Interfaceversion funktioniert das Freigeben nochn nicht
  • DLLs\himXML_DLL.dpr und DLLs\himXML_DLLi.dpr
    - die zugehörigen DLLs
  • other\*
    - einige andere XML-Libs (verwendet in demos\CheckLibs* )
  • test files\*
    - einige "XML"-Dateien zum Testen

ansonsten bin ich für Tipps und Vorschläge dankbar

[add 13.03.2009]
ach ja falls der Name jemandem nich gefällt ... Beschwerden bitte an Matze richten

[add]
im Beitrag #193 wird etwas über die im Download mit enthalenen anderen XML-Libs geschrieben.


[add]
Achtung, beim Forenupgrad der DP sind die Dateikommentare verschwunden und die Dateinamen sind unglücklich importiert wurden.

himxml_246.7z = v0.9 21.05.2009
himxml_164.7z = v0.99d 12.01.2010
other.7z = 30.12.2010 (only the "other" directory)

[jfheins]

Für xml spricht, dass der Benutzer es sehr leicht bearbeiten kann.

Zudem ermöglicht die hierarchische Struktur einfache Listen, komplexere Objekte und Validierung.

Beispielweise:

Code:

<friends xmlns="http://schemas.microsoft.com/office/outlook/2010/06/socialprovider.xsd">
  <person>
    <userID>4667647</userID>
    <firstName>Melissa</firstName>
    <lastName>MacBeth</lastName>
    <nickname></nickname>
    <birthday>1979-08-09</birthday>
    <emailAddress>[e-mail]</emailAddress>
    <address>
    <!-- etc -->
    </address>
  </person>
</friends>

Hier kannst du zum Beispiel erstmal das ganze validieren. Also die legst eine xsd danaben und
1. Der Benutzer/Bearbeiter weiß damit genau, welche Werte erlaubt sind. (Ja nach Qualität der xsd)
2. In deinem Programm kannst du EINE Validierung durchführen um zu prüfen, ob die ganze Datei i.O. ist.
3. Du kannst den Code um die Adresse zu parsen einmal definieren (Adress-Klasse) und einfach wiederverwenden.

[CodeX]

Zitat von a.def:

Was spricht aber für XML und gegen Ini?

Naja, es gibt viele Gründe (Mehrzeilige Texte, Inline-Binärdaten, ...), aber in meinem Fall ist die Struktur das ausschlaggebende Kriterium. Versuch mal einen Baum (VirtualTree o.ä.) in einer Ini abzubilden.

Zitat von a.def:

Ich selbst würde beim Wechsel nicht himXML nehmen sondern das hier... habe ich vor Jahren schon oft benutzt und hatte nie Probleme:
http://www.swissdelphicenter.ch/de/showcode.php?id=2269
Schön, klein, keine DLL.

Das ist ja lediglich eine Kapselung von TXMLDocument und somit weder schnell noch klein (Du vergisst den eigentlichen Code von TXMLDocument).
Das kannst Du ja um jede XML-Komponente nach Deinen Vorstellungen drumherumbasteln. Würde ich sowieso machen, um eben abgestimmt auf meine Anwendung kompakter damit arbeiten zu können.

[a.def]

Nur Ini ist doch um einiges leichter zu bearbeiten, speziell für Laien.

[himitsu]

Bei XML hätte man auch weniger Probleme mit z.B. mehrzeiligen Texten (Original wäre es technisch möglich, aber es wird nicht richtig unterstützt) oder anderen Datenformaten.
Das Datum wird von den Delphi-INI-Klassen immer im lokalen Format gespeichert, also kann man INI nicht für den Datenaustausch zu anderen Computern verwenden und es knallt, wenn man z.B. Windows auf eine andere Sprache umstellt, bzw. im mehrsprachigen Mehrbenutzerbetrieb.

Geplant ist eine Überarbeitung, aber die steht leiter ein bisschen weiter hinten an.
Ich stelle Vieles um und setze meine Grundfunktionen/-klassen neu auf, auch im Hinblick auf Multiplattform.

Speziell die Speicherverwalrtung mehrrfach kreuzverlinkter Struckturen ist ein Graus.
Vorallem wenn der Grundcode auch von anderen Projekten verwendet und dann noch multiplatform und für mehrere Delphiversionen funktionieren soll.
Emba baut Vieles um und die Speicherverwaltung zwischen ARC und Nicht-ARC ist halt nicht wirklich kompatibel, dann funktioniert z.B. WeakRef und Co. nicht überall.

[p80286]

Zitat von a.def:

Nur Ini ist doch um einiges leichter zu bearbeiten, speziell für Laien.

Leider nein. Sobald Du z.B. "käsesorte=Belgrader blauschimmel" verwenden willst, bekommst Du ein Problem. Zum einen mit dem Umlaut zum anderen den String aus zwei Worten. Das muß nicht sein, aber bei XML gibt es da keine Probleme.
"Et hät noch immer jut jejange" ist leider etwas kurz gedacht.

Gruß
K-H

[himitsu]

Man kann die INI auch als UCS2 speichern, dann gibt es keine Probleme mit den Umlauten.

Problem: Delphi speichert das nicht richtig, wenn man TMemIniFile verwendet ... die WinAPI/TINIFile macht das richtig.
Probleme gibt es beim ANSI, wenn das "ä" nicht zur aktuellen Codepage passt.

[p80286]

Zitat von himitsu:

Man kann die INI auch als UCS2 speichern, dann gibt es keine Probleme mit den Umlauten.

Problem: Delphi speichert das nicht richtig, wenn man TMemIniFile verwendet ... die WinAPI/TINIFile macht das richtig.
Probleme gibt es beim ANSI, wenn das "ä" nicht zur aktuellen Codepage passt.

war da nicht was mit INI-Files >64K für die man mit TMemIni arbeiten sollte?
Für meinen Geschmack zu viele wenns und abers.

Gruß
K-H

[Rollo62]

TMemIniFiles arbeitet intern mit StringList und hat
keine 64K Grenze.

[nahpets]

Seit wann hat TIniFile eigentlich wieder die 64 KB-Grenze?

Also mit meinem veraltete Delphi 7 und Windows XP hab' ich auch mit größeren INI-Dateien keine Probleme. Die größte, die ich gerade gefunden habe ist 308.873 Byte.

Ich vermute jetzt mal ganz dreist: Diese 64 KB-Einschränkung gibt es schon länger nicht mehr, als ein Teil der Forumsteilnehmer alt ist.

Mit folgendem Nonsens lässt sich eine INI-Datei von 882.800 Byte schreiben und lesen und wiederlegt nebenbei auch die Richtigkeit dieser Behauptung:

Zitat von p30826:

Sobald Du z.B. "käsesorte=Belgrader blauschimmel" verwenden willst, bekommst Du ein Problem. Zum einen mit dem Umlaut zum anderen den String aus zwei Worten.

Delphi-Quellcode:

unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, IniFiles, StdCtrls;

type
  TForm1 = class(TForm)
    Button1: TButton;
    Button2: TButton;
    procedure Button1Click(Sender: TObject);
    procedure Button2Click(Sender: TObject);
  private
    { Private-Deklarationen }
  public
    { Public-Deklarationen }
  end;

var
  Form1: TForm1;

implementation

{$R *.dfm}

procedure TForm1.Button1Click(Sender: TObject);
var
          Ini : TIniFile;
          i   : Integer;
          k   : Integer;
begin
  ini := TInifile.Create(ChangeFileExt(Application.ExeName,'.ini'));
  for i := 1 to 100 do begin
    for k := 1 to 100 do begin
      ini.WriteString(Format('Käsesortensortiment %.4d',[i]),Format('Käsesorte %.4d Käselieferant %.4d',[i,k]),Format('Dieser Käse enthält pro %.4d Gramm ca. %.4d Kalorien',[k,i]));
    end;
  end;
  ini.Free;
end;

procedure TForm1.Button2Click(Sender: TObject);
var
          Ini : TIniFile;
          sl1 : TStringList;
          sl2 : TStringList;
begin
  ini := TInifile.Create(ChangeFileExt(Application.ExeName,'.ini'));
  sl1 := TStringList.Create;
  sl2 := TStringList.Create;
  ini.ReadSections(sl1);
  ShowMessage(Format('Die Ini-Datei %s enthält %d Sections.',[ini.FileName,sl1.Count]));
  ShowMessage(Format('Der Name der letzten Section ist %s',[sl1[sl1.Count - 1]]));
  ini.ReadSection(sl1[sl1.Count - 1],sl2);
  ShowMessage(Format('Der Namen in der letzten Section sind %s',[sl2.Text]));
  ShowMessage(Format('Letzter Eintrag ist: %s',[ini.ReadString(sl1[sl1.Count - 1],sl2[sl2.Count - 1],'Upps, nicht gefunden')]));
  sl2.Free;
  sl1.Free;
  ini.Free;
end;

end.

Und wer in den For-Schleifen die 100 durch 'ne größere Zahl ersetzt, bekommt bestimmt auch größere INI-Dateien zustande und gelesen.

[CodeX]

Irgendwie dachte ich, es geht hier um himXML und nicht um die möglichen Nachteile von INIs!?
Ich hatte diesen Thread zwecks Fragen zu himXML "aufgeweckt" und nun gehen diese leider durch Off-Topic unter.
Ich hole es daher nochmal rauf:

Zitat von CodeX:

Ich werde bei einem größeren Projekt mittelfristig wohl von INI auf XML wechseln müssen. Habe deshalb gerade ein wenig ausgelotet, welche Möglichkeiten da so bestünden und finde himXML rein von der Beschreibung und von der Entwicklung ziemlich gut. Super Arbeit, himitsu!
Nun scheint ja OmniXml in Form von OXml ja wieder auferstanden zu sein und wird aktuell weiterentwickelt. Ein "lebendiges" Projekt ist natürlich immer irgendwie angenehmer, wenn man sowieso frisch einsteigen möchte.

Kann jemand vom aktuellen Stand aus sagen, ob himXML und OXml irgendetwas stark unterscheidet? (Vor-/Nachteile)
himitsu, hast Du vor, himXML noch weiter zu entwickeln? Wäre es denkbar, die Verschlüsselungsfuntion von einzelnen Knoten auf die gesamte Datei zu erweitern?