Hallo DP !

Ich habe eine sehr simple Anwendung erstellt mit nur 4 Komponenten:

- TWebbrowser
- TButton
- TStatusBar
- TTimer

Eine Funktion zur Ermittlung der Hauptspeichernutzung des eigenen Programms:

zusammenfalten · markieren

Delphi-Quellcode:

function getMyMemoryUsageInKb : integer;
var
  pmc: PPROCESS_MEMORY_COUNTERS;
  cb: Integer;
begin
 cb := SizeOf(_PROCESS_MEMORY_COUNTERS);
 GetMem(pmc, cb);
 pmc^.cb := cb;
 if(GetProcessMemoryInfo(GetCurrentProcess, pmc, cb))then
   result := pmc^.WorkingSetSize div 1024
 else
   result := -1;
 FreeMem(pmc);
end

Ich navigiere per button zu meiner XML Datei (ca. 5,6 MB):

webbrowser1.Navigate('http://www.dragonlords.info/dev/big.xml'); Der Timer zeigt mir nur die RAM-Auslastung an:

Statusbar1.Panels[0].Text := 'RAM: '+ FLoatToStr(Ceil(getMyMemoryUsageInKb/1024)) + ' MB'; Mehr macht diese Anwendung nicht. Das erschreckende daran ist, sie nutzt ca. 750-800 MB Hauptspeicher !

Ich möchte aber mehrere XML Dateien ähnlicher Größenordnung nacheinander untersuchen, jedoch schmiert mir die Entwickler-VM aufgrund zu wenig Hauptspeicher ab. Der IE 11 des Betriebssystems addressiert bei diesem Seitenaufruf ca. 220MB und wächst in kleinen Schritten bis ... weiß nicht genau, bei 280MB habe ich ihn geschlossen.

Wie kann man denn solche großen XML files untersuchen ohne den RAM Bedarf der eigenen Anwendung auf Gigabytegröße anwachsen zu lassen ?

www.dragonlords.info/dev/leak_demo.rar

Grade mal ausprobiert. Ja, wird riesig. Warum? Keine Ahnung.

Aber warum in aller Welt will man das tun? Die XML in einem TWebBrowser anzuzeigen wird ja nicht dein eigentliches Ziel sein. Wenn du nur zu Debugzwecken den Text irgendwo haben willst, nimm doch ein TMemo.

Willst du die XML auswerten, mach das doch über Xml.XmlIntf.IXMLDocument . Das braucht dann keine 20MB Hauptspeicher (zumindest bei mir).


Hey, Sankt Augustin.

Hi,

ich muss das XML nicht im Browser darstellen, ich brauch das reine XML in einem TMemo. Das hab ich folgendermaßen gebaut:

WebBrowser1DocumentComplete:

markieren

Delphi-Quellcode:

var
xml:WideSstring;
doc: OleVariant;

doc := Webbrowser1.Document;
xml := doc.XMLDocument.xml;
Memo1.lines.add(xml);

Den TWebbrowser habe ich nie benutzt, lehne mich aber soweit aus dem Fenster zu behaupten dass der vollkommen fehl am Platz ist.
Wenn du die XML von einer URL laden willst kannst du

• die Indy-Komponenten verwenden
• Das XML direkt mittels LoadXmlDocument(..) laden
• Bestimmt noch anders

Zu 2):

zusammenfalten · markieren

Delphi-Quellcode:

unit Unit2;

interface

uses
   System.Classes,
   Vcl.Forms, Vcl.StdCtrls, Vcl.Controls,
   Xml.XmlIntf;

type
   TForm2 = class(TForm)
      Memo1: TMemo;
      Button1: TButton;
      Button2: TButton;

      procedure Button1Click(Sender: TObject);
      procedure Button2Click(Sender: TObject);

      protected var
         myXmlDocument: IXMLDocument;
   end;

var
   Form2: TForm2;

implementation uses Xml.XmlDoc;

{$R *.dfm}

procedure TForm2.Button1Click(Sender: TObject);
begin
   myXmlDocument := LoadXMLDocument('http://www.dragonlords.info/dev/big.xml');
end;

procedure TForm2.Button2Click(Sender: TObject);
begin
   Memo1.Lines.Assign(myXmlDocument.XML);
end;

end.

Das Einfügen in die Memo dauert ewig. Ich denke das liegt daran, dass deine 5MB-Datei nur aus einer einzigen Zeile besteht. Selbst Notepad++ bekommt hier Performance-Probleme. Das habe ich bei Notepad++ noch nie gesehen!

Spendier der XML doch Zeilenumbrüche.

Hallo,

ich musste gerade etwas schmunzeln, als ich die Überschrift gelesen habe. Ich kämpf(t)e auch mit den XML-Dateien und bin schon mehrfach an 3 GB Hauptspeicherverbrauch 'gestorben'. Wir verwenden teilweise eigene XML-Routinen, teilweise abgeleitet von ThaXML und teilweise abgeleitet von XMLParser (von Stefan Heymann). Nach ein paar Korrekturen im Sourcecode liegt der Speicherverbrauch unterhalb von 2 GB.

Mein Programm:
- erzeugt 4 bis 5 XML-Dateien mit jeweils über 780.000 Zeilen (mit Zeilenumbrüchen !)
- jede XML-Datei hat eine Größe von ca. 65 MB
- das erzeugen einer XML-Datei dauert zur Zeit etwa 40 Minuten (alles im Hauptspeicher)
- jede XML-Datei in eine Textdatei konvertieren
- die Textdatei hat eine Größe von ca. 5 MB
- das erstellen der Textdatei dauert ca. 8 Minuten

Die Anzeige einer XML-Datei habe ich mit VirtualTreeView (von Mike Lischke) realisiert. Das Lesen einer XML-Datei dauert hier ca. 15 Sekunden.

Zum Vergleich: das Lesen einer XML-Datei mit Notepad++ dauert ca. 30 Sekunden.

Mike

Das sind absurde Zahlen! XML ist doch nix anderes als "gepimpter" Text. Wer braucht da 40 Minuten zum erzeugen so einer popligen Datei? Bisher habe ich die XML-Komponentenumschifft und hab meine XML naiv händisch aufgebaut (jedes Tag ist eine eigene Methode, die für den wohlgeformten Ausdruck sorgt), ich komme in ähnliche Größenordnungen, dürfte mir aber keine 40 Minuten zum Aufbau erlauben.

Sherlock

Zitat von Ajintaro:

ich muss das XML nicht im Browser darstellen, ich brauch das reine XML in einem TMemo. Das hab ich folgendermaßen gebaut:

Und warum nimmst du dann überhaupt einen Browser?

TIdHTTP



Ich will zur Pizzabude gegenüber und statt den Roller nehm ich lieber einen 70-Tonner, mit großer Ladefläsche für die Pizza.

Zitat von himitsu:

Ich will zur Pizzabude gegenüber und statt den Roller nehm ich lieber einen 70-Tonner, mit großer Ladefläsche für die Pizza.

Think Big.

Zitat von Ajintaro:

Wie kann man denn solche großen XML files untersuchen ohne den RAM Bedarf der eigenen Anwendung auf Gigabytegröße anwachsen zu lassen ?

Bei großen XML Dateen kann man Libraries mit einer "Streaming API" verwenden. Diese laden das Dokument nicht als DOM sondern liefern einen Stream von Elementen und Attributen, auf die man dann in Handlern reagieren kann (zum Beispiel Werte auslesen und summieren, oder nur die interessanten Wertte in eine eigene Struktur kopieren).

Für Delphi gibt es einige Implementierungen - MSXML und das recht neue aber laut Angaben performante OXML sind zwei Beispiele.

Hi,

Gute Neuigkeiten !
Ich habe die Browser-Komponente entfernt und wie von himitsu vorgeschlagen idHTTP genommen:

zusammenfalten · markieren

Delphi-Quellcode:

function URLEncode(const ASrc: string): string;
var
  i: Integer;
const
  UnsafeChars = ['*', '#', '%', '<', '>', ' ','[',']']; {do not localize}
begin
  Result := ''; {Do not Localize}
  for i := 1 to Length(ASrc) do
  begin
    if (ASrc[i] in UnsafeChars) or (not (ord(ASrc[i])in [33..128])) then
    begin {do not localize}
      Result := Result + '%' + IntToHex(Ord(ASrc[i]), 2); {do not localize}
    end
    else
    begin
      Result := Result + ASrc[i];
    end;
  end;
end;


procedure TForm4.Button1Click(Sender: TObject);
var
  aStream: TMemoryStream;
  Params: TStringStream;
begin
  button1.Caption:='please wait';
  aStream := TMemoryStream.create;
  Params := TStringStream.create('');
  try
    with IdHTTP1 do
    begin
      //Params.WriteString(URLEncode('user=' + Edit1.Text + '&'));
      //Params.WriteString(URLEncode('pass=' + Edit2.Text));
      // You can change headers like this:
      Request.ContentType := 'application/x-www-form-urlencoded';
      try
        Response.KeepAlive := False;
        Post('http://www.dragonlords.info/dev/big.xml', Params, aStream);
      except
        on E: Exception do
          showmessage('Error encountered during POST: ' + E.Message);
      end;
    end;
    aStream.WriteBuffer(#0' ', 1);
    aStream.Position := 0;
    Memo1.Lines.LoadFromStream(aStream);
    button1.Caption:='done';
  except
    aStream.Free;
    Params.Free;
  end;
end;

Die Ladezeit ist die selbe, aber diese Aktion "kostet" gerade mal 15MB !