while not Eof(myFile), wie CPU Load in den Griff bekommen?

[himitsu]

PS: paralelle Zugriffe auf eine Festplatte bremsen sich gegenseitig aus.

Die Leseköpfe sind langsam
- also sequentielles Arbeiten ist da besser (solange zwischendurch nicht mindestens genausolange gerechnet, wie auf dem Datenträger drauf rumgemacht wird)

[Luckie]

Zitat von himitsu:

PS: paralelle Zugriffe auf eine Festplatte bremsen sich gegenseitig aus.

Ich dachte, das hätte ich bereits erwähnt?

[jaenicke]

Und ich habe gerade auch schon erwähnt, dass genau das durch die MMF minimiert wird. Wir drehen uns im Kreis. Hilfe, eine Zeitschleife.

[p80286]

Zitat von schwa226:

Das Problem was ich noch habe, ist das ich gleichzeitig auch eine SQLite Database genau so durchsuchen will.

Meine Idee ansonsten ist die Dateien global einzulesen. Bei einer Suche wird zuerst überprüft ob sich die Datei verändert hat (Durch externen Editor). Wenn nicht dann die Globale (z.B. StringList) verwenden oder ansonsten halt die Datei neu laden. Um die Daten aber neu zu laden bräuchte man wieder eine ThreadSafe StringList was wieder den gleichzeitigen Zugriff blockiert.

Mir scheint, daß nicht der zugriff auf die Festplatte das Problem ist, sondern daß hier einige Abläufe nicht richtig zueinander passen.

Gruß
K-H

[FredlFesl]

Zitat von jaenicke:

Und ich habe gerade auch schon erwähnt, dass genau das durch die MMF minimiert wird. ...

Komisch, das (MMF superschnell ist) konnte ich bisher noch nicht feststellen. Vielleicht habe ich eine falsche Klasse.. Wäre das ein Thema für einen separaten Thread, oder hast Du zufällig schon was vorbereitet?

[jaenicke]

In dem verlinkten Thread findest du eine Demo. Von SSD habe ich damit Geschwindigkeiten von 300 MiB/s beim zeichenweisen (!) Auslesen.

[schwa226]

Zur Erklärung:
Jeder Thread hat einen TCP Client. Dieser empfängt über ein Kommando eine Hex-ID.
Mit dieser ID sucht sich nun der Thread aus dem Textfile den dazu passenden String.
Danach startet die eigentliche Abarbeitung der empfangenen Daten.

Um die Textdatei ändern zu können ohne die Anwendung neu starten zu müssen habe ich das File bei jeder Abfrage neu geöffnet und nach der Suche wieder geschlossen.

Wenn ich die Datei einmal öffne und global zur Verfügung stelle werden ja externe Änderungen der Textdatei nicht berücksichtigt. Dann müsste man immer wieder einmal überprüfen ob sich die Datei verändert hat (vielleicht wieder ein eigener Thread).
Um die globale geöffnete Datei zur Laufzeit zu verändern/upzudaten würde dann aber auch eine Threadsichere TStringList benötigt. Oder man started halt die Anwendung neu, was zu einer Unterbrechnung der Verbindung führen würde.

[QuickAndDirty]

Las mich raten, die Datei ist eine filebasierte Datenbank Datei und du möchtest die Datenbank umgehen?
Vielleicht um die beknackten Windows Freigaben nicht machen zu müssen?

Ich glaube nicht das du das sooo hinbekommst.

[jaenicke]

Das macht auch gar keinen Sinn das zu versuchen.

Genau für das was du beschreibst gibt es Datenbanken...

[p80286]

Wenn ich das jetzt richtig verstanden habe, gibt es maximal $FFFF Strings, die sollten eigentlich problemlos in einer Stringlist verwaltbar sein. Mit sorted=true Und einer Bin.Suche sollte das Suchen so schnell gehen, daß für das Einfügen/Überschreiben neuer Daten genug Zeit bleibt, da könnte man wahrscheinlich noch öfters mal eine Sicherung fortschreiben.

(ein Feuervögelchen realisiert das bestimmt einfacher, aber für echte Männer gilt: für solche Kleinigkeiten brauch ich doch keine DB)

Gruß
K-H