große Textdateien in Stringlist laden

[himitsu]

+ #32

Code:

visibleChars := ['0'..'9','_','-', 'A'..'Z', 'a'..'z', [b][color=#ff0000]#32[/color][/b]];
// oder
visibleChars := ['0'..'9','_','-', 'A'..'Z', 'a'..'z', [b][color=#ff0000]' '[/color][/b]];

(#32 ist ein Leerzeichen)

Schneller ginge es, wenn du nicht ständig Strings verändern würdest und auch nicht nur Byteweise arbeitest.

Dann brauchst du es doch nicht in eine temporäre Datei schreiben ... du kannst das gefilterte doch direkt in die StringList einfügen, oder besser erstmal in einen temporätren String.


Ach ja, da du doch eh nur suchst, ginge es am schnellsten, wenn du garnicht erst filterst und dafür direkt in den Binärdaten suchst.
Würde die ganzen Stringmanipulationen und alles Weitere ersparen.

[add]
Nicht getestet, aber es ich denk/hoff, daß keine Fehler drin sind.

Delphi-Quellcode:

const BufferSize = 8192;
var S: String;
  i, AmtTransferred: Integer;

found := false;
S := '';
AssignFile(stdIn, opendialog1.FileName);
Reset(stdIn);
while not Eof(stdIn) do
begin
  i := Length(S);
  SetLength(S, i + BufferSize);      // weiteren Speicher reservieren (BufferSize)
  BlockRead(stdIn, @Buf[i + 1], BufferSize, AmtTransferred);
  SetLength(S, i + AmtTransferred);  // Speicher entsprechend der gelesenen Daten anpassen (am Dateiende)
  if Pos(term, S) > 0 then
  begin
    found := true;
    Break;
  end;
  Delete(S, 1, Length(S) - Length(term));  // Speicher löschen, bis auf einen Teil, damit das
end;                                       // Suchwort auch über Blockgrenzen gefunden wird.
CloseFile(stdIn);

Hier wäre auch noch der Vorteil, daß beim Auffinden des Suchwortes abgebrochen wird und nicht erst die gesamte Datei bearbeitet werden muß.