Zeile aus Stringlist löschen, wie optimieren?

[p80286]

Hallo zusammen,

ich muß des öfteren aus recht größen Textdateien bestimmte Zeilen löschen. Dies mache ich z.Zt. so

{leerzeilen löschen}

Delphi-Quellcode:

Stringliste.loadfromfile('Testdatei');
..
for i:=Stringliste.count-1 downto 0 do
  if length(Stringliste[i])=0 then Stringliste.delete(i);

Hat man mehr als 1 Mio Zeilen, kann das schon dauern. Darum meine Frage, wie kann ich das optimieren?

Ein etwas besseres Laufzeitverhalten habe ich mit

Delphi-Quellcode:

for i:=Stringliste.count-1 downto 0 do begin
  if length(Stringliste[i])>0 then stringlist2.insert(0,stringlist[i]);
  Stringlist.delete(i);
end;

(das Verhältnis ist etwa 6:5)


Als untauglich hat sich erwiesen:

Delphi-Quellcode:

p:=pos(#13#10#13#10,string);
while p>0 do begin
  delete(string,p,2);
  p:=posex(#13#10#13#10,string,p-1);
end

Da beim TStringlist.Delete letztlich nur 3 Pointer verschoben werden erhoffe ich mir von einer Pointerliste auch keine große Verbesserung.

Habt Ihr noch eine Idee wie ich da etwas Tempo machen kann?

Gruß
K-H

[Uwe Raabe]

Deine for-Schleifen haben weder eine Richtung noch eine Ende-Bedingung und compilieren somit nicht. Beim Löschen von Einträgen ist aber die Laufrichtung der Schleife schon relevant.

Berücksichtigst du bei deinen Zeitmessungen auch das Laden und Speichern oder nur die Schleife?

[p80286]

Zitat von Uwe Raabe:

Berücksichtigst du bei deinen Zeitmessungen auch das Laden und Speichern oder nur die Schleife?

Es geht nur um die Schleife!
(die paar Sekunden für das Laden kann man ignorieren)
Beim letzten Lauf ging es um 20 Mio. Zeilen und ca 1,8 Gbyte.

Gruß
K-H

[Der schöne Günther]

Ich hätte gesagt, das liegt in der Natur von TStringList , oder? Ohne es genau zu wissen hätte ich doch gesagt, das es intern auf ein dynamisch wachsendes/schrumpfendes Array abgebildet wird. Löscht du mittendrin eins raus, rückt alles auf.

Nehme ich eine TStringList bzw eine TList<String> aus der RTL, brauche ich ca 22 Sekunden um auf 5 Mio. Strings ca 2. Mio zufällige herauszulöschen. Nehme ich als Container, nur als Beispiel, ein Spring.Collections.ISet<String> , sind es 1500ms.

Deshalb würde ich bei solchen Datenmengen nach einem anderen Container suchen - Falls meine Annahme den zutrifft, dass es intern ein großes Array ist. Wahrscheinlich wäre es ebenso schneller, wenigstens eine Kopie der TStringList zu bauen: Über alle Elemente drüberruschen und in die Kopie nur die aufnehmen, die nicht leer sind.

[user0815]

Delphi-Quellcode:

      i := 0;
      while i < Stringliste.Count do
      if trim(Stringliste[i]) = ''
       then Stringliste.Delete(i)
        else inc(i);

wobei ich keine Ahnung habe ob eine Prüfung auf trim oder length schneller ist...

[Der schöne Günther]

Aber der Flaschenhals ist doch TStringList.Delete(..) , oder?

[GPRSNerd]

Ich mache seit einiger Zeit Löschvorgänge/Überarbeitungen in großen Textdateien auch mit einer zweiten Stringliste, in die ich nicht zu löschende/überarbeitete Strings mit Stringliste2.Add() hinzufüge. Dabei hat sich eine Beschleunigung um den Faktor ~10 ergeben im Vergleich zum Löschen der Einträge mit Delete() in der Originalliste.
Die Dateien haben bei mir eine Größenordnung von 1-5 Mio. Zeilen (TTCN-Sourcecodes).

[jaenicke]

Wenn es nur darum geht ein paar Zeilen zu löschen und die Datei wieder wegzuschreiben, warum schreibst du nicht einfach die TStringList ohne die Zeilen wieder zeilenweise weg? Was anderes macht die doch intern logischerweise beim Speichern auch nicht.

Zudem wäre es denke ich sinnvoller per MMF zuzugreifen und die ganzen Inhalte gar nicht erst als Strings in den Speicher zu laden. Das zeilenweise Einlesen siehst du z.B. hier:
http://www.delphipraxis.net/151898-s...ei-reader.html

[himitsu]

Zitat von p80286:

{leerzeilen löschen}

Delphi-Quellcode:

Stringliste.loadfromfile('Testdatei');
..
for i:=Stringliste.count-1 downto 0 do
  if length(Stringliste[i])=0 then Stringliste.delete(i);

Hat man mehr als 1 Mio Zeilen, kann das schon dauern. Darum meine Frage, wie kann ich das optimieren?

Ein etwas besseres Laufzeitverhalten habe ich mit

Delphi-Quellcode:

for i:=Stringliste.count-1 downto 0 do begin
  if length(Stringliste[i])>0 then stringlist2.insert(0,stringlist[i]);
  Stringlist.delete(i);
end;

(das Verhältnis ist etwa 6:5)


Als untauglich hat sich erwiesen:

Delphi-Quellcode:

p:=pos(#13#10#13#10,string);
while p>0 do begin
  delete(string,p,2);
  p:=posex(#13#10#13#10,string,p-1);
end

Da beim TStringlist.Delete letztlich nur 3 Pointer verschoben werden erhoffe ich mir von einer Pointerliste auch keine große Verbesserung.

All zuviel kann man da eh nicht optimieren.

1. es wird ein Pointer aus der Liste entfernt UND die Pointer der nachfolgenden Strings werden verschoben
2. die Referenzen der zukopierenden Strings werden kopiert, und die Referenzzählung wird angesprochen (Stringinhalte werden nicht kopiert)
3. erst wird aus allen Strings/Zeilen EIN großer String gebastelt, dann wird via StringReplace "jeder" doppelte Zeilenumbruch einzeln entfernt (Achtung, bei 3 und mehr aufeinanderfolgenden Zeilenumbrüchen wird nur jeder Zweite entfernt), dabei werden alle nachfolgenden Zeichen jedesmal umkopiert, und dann wird der ganze String wieder in viele Einzelstrings zerlegt

Auslesen als TEXT geht nur bei einem Memo (TMemoStrings) schneller, da dort der Text zusammenhängend im RAM liegt. (aber das Löschen der Leerzeilen sollte auch da temporärn einer TStringList erfolgen, da das TMemo arschlangsam ist).




Wie kommen die Daten denn in die TStringList?
Was am Schnellsten ginge, wäre die Leerstrings garnicht erst aufzunehmen.
Also die Add-Methode überschreiben und bei dem ungewollten Leerstring abbrechen.

[p80286]

So chefe stört nicht mehr...
erst einmal vielen Dank für die vielen Rückmeldungen.

Zunächst, alle Zeilen müssen vorliegen und erst dann entscheidet sich welche Zeilen gelöscht werden. Sehr oft sind Leerzeilen betroffen und dafür hab ich dann eine Spezialbehandlung.
Die Lösung "nicht einlesen" entfällt daher.

Die Prüfung auf Stringlist[i]='' hab ich ausprobiert und gefühlt sind da ein paar Sekunden herum gekommen.

Die "Kopierlösung" ist auch auf andere Zeileninhalte anwendbar, zusammen mit dem "Auftrennen" scheint das interessant zu werden. Muß ich mal testen. Das wichtigste Problem was ich sehe ist hirbei der Speicherplatzbedarf.
Mal ausprobieren.

noch mal vielen Dank
K-H

P.S. z.Zt. arbeite ich mit ca 2,5 Mio Zeilen das fluppt so oder so