800 XML-Dateien durchsuchen / Suche langsam beim 1. Mal

[sx2008]

Zitat:

Zitat von IIIMADDINIII

... zum beispiel in einem teimer der jede 1 milis.
10 dateien einließt oder so.

Mehrere Threads (falls du das meinst) erzeugen auf der Festplatte Stress, der für den Gesamtdurchsatz eher bremsend wirkt.
Es gibt nur drei Verbesserungsmöglichkeiten:
1.) Dateneinlesen optimieren.
Optimale Leistung wird erreicht, wenn man Blöcke mit 4096 oder 8192 Bytes einliest und dazu möglichst nahe am Betriebssystem bleibt.
AssignFile, ReadLn, ... sind nicht genügend nahe am OS -> Leistungsverlust
TFileStream ist relativ nahe am OS.
Geht man ganz runter auf die Windows API lohnt das nicht, weil die Verbesserung im Promillebereich liegt.
2.) Hardware upgraden !!
3.) XML Analyse und Element-Suche optimieren

[DerDan]

Hallo

... Oder eben die Suchergebnise deiner letzten Suche speichern und die verwenden.
bzw deine Dateien indizieren.


mfg

DerDan

[p80286]

Zitat:

Zitat von sx2008

Mehrere Threads (falls du das meinst) erzeugen auf der Festplatte Stress, der für den Gesamtdurchsatz eher bremsend wirkt.
Es gibt nur drei Verbesserungsmöglichkeiten:
1.) Dateneinlesen optimieren.
Optimale Leistung wird erreicht, wenn man Blöcke mit 4096 oder 8192 Bytes einliest und dazu möglichst nahe am Betriebssystem bleibt.
AssignFile, ReadLn, ... sind nicht genügend nahe am OS -> Leistungsverlust
TFileStream ist relativ nahe am OS.
Geht man ganz runter auf die Windows API lohnt das nicht, weil die Verbesserung im Promillebereich liegt.

Das ist im Prinzip ganz richtig, aber wenn's in der dritten oder vierten Zeile steht, dann ist ein Readln mit einem Textbuf von 8192 auch nicht soooo langsam. Da ist das öffnen und schließen der Dateien eher der Flaschenhals.

Ich denke wenn "Initialisieren" dann über FindFirst/FindNext.

Gruß
K-H

[DP-Maintenance]

Dieses Thema wurde von "mkinzler" von "XML" nach "Sonstige Fragen zu Delphi" verschoben.
Kein spezifisches XML Problem, eher allgemeiner Natur