pgn - Filter

[wendelin]

pgn - FILTER - ein kleines Tool für den ambitionierten Schachspieler.

Es erlaubt die Extraktion von Varianten, Sub - SubSub - ... - Varianten.
Dadurch werden auch sehr große pgn-Files (mit mehreren tausend Partien)
gefiltert und diese dann wesentlich kleineren pgn - Files
wieder im pgn - Format gespeichert.

[dGeek]

Erst einmal schön, dass du dir die Mühe machst und eine Software entwickelst und hier einstellst.

Aber nachdem ich das Folgende gesehen habe, habe ich meinen Test sofort abgebrochen:

Zitat:

---------------------------
Pgn_1
---------------------------
Sorry, diese Funktion ist aus techn. Gründen
für Partien - Alt > 2000 nicht erreichbar !
---------------------------
OK
---------------------------

Ich teste deine Software sehr gerne wieder, kein Problem =) Aber solche Fehler müssen behoben werden bzw. solche Funktionen müssen eingebaut werden.

Ein kleiner Tipp noch:
Mit dem "SJMmfFileReader" kann man Dateien sehr viel schneller einlesen.
http://www.delphipraxis.net/151898-s...ei-reader.html

Mit dem Reader lässt sich eine 4 Megabyte große Textdatei, circa 120.000 Zeilen, in Bruchteilen von Sekunden laden.

Das Problem besteht aber weiterhin: das Memo ist zu langsam.

[wendelin]

Hallo dGeek,

vielen Dank für Deine Antwort.

Der von Dir kritisierte 'Fehler' ist Absicht. Auch große Dateien mit weit mehr als 20.000 Partien und mehr als 300.000 Zeilen
werden innerhalb von weniger als 3 sek. geladen. Und das auf meinem alten 2-Kern Rechner.
Die Datei wird in eine StringList geladen und zum Schluß erst ins Memo kopiert.

Da ich mein kleines Programm
1.) noch erweitern will (z.B. Vergleichen zweier pgn.Dateien auf Duplikate, mehr Statistik b.z.w. Graphic, etc.),
2.) ev. als Shareware anbieten will,
habe ich mir diese Vorgehensweise ausgesucht.

wendelin

[wendelin]

nachtrag,

nochmals Danke für den Hinweis auf den "SJMmfFileReader".
Ich werde mich damit beschäftigen.

Wendelin

[himitsu]

Hab jetzt nicht nach dem SJMmfFileReader gesehen, aber MMF ala Memory Mapped File (falls es das ist, was ich denke) zeigt schon die Lösung.

TStringList, TMemoryStream, TMemo usw. laden den kompletten Inhalt auf Einmal in den Arbeitsspeicher und können demnach nicht unendlich viel Daten laden.

MMF mappt nur einen oder mehrere Teil(e) einer Datei in den RAM, also am Besten nur einen Benötigten und wenn man was Anderes braucht, dann kann/muß man diese halt austauschen.
Es gibt auch Streams und die alten Pascal-Funktionen, welche die Daten ebenfalls nacheinander laden, wie z.B. TFileStream und darauf aufbauend gibt es auch String-Streams, wo man ebenfalls nur die aktuelle nächste Zeile, bzw einen gewünschten Block laden/auslesen kann.

Genauso gibt es auch Komponenten, welche ebenfalls nicht alle Daten nthalten, sondern nur die aktuell Sichtbaren.
Bei Memos weiß ich grade keine, aber schaut z.B. in den HxD-Editor http://en.wikipedia.org/wiki/HxD http://www.delphipraxis.net/39594-hx...am-editor.html

Einfache Beispiele aus anderen Bereichen:

XML-DOM liest die komplette Datei ein und beit einen Baum auf
XML-SAX liest die speichersparend XML sequentiell ein (also Stück für Stück)

TTreeView > alles im Komponentenspeicher
TVirtualTreeView > nur der Baum im Speicher, nichtsichtbare Unterknoten können entfernt/nachgeladen werden und der Inhalt/Text kommt sowieso von Außerhalb