IndexOf case sensitive / Performance verbessern

[frieder2008]

Hallo Leute,

folgende zwei 'Probleme' habe ich, wo ich gerade hänge bzw. wo mein Delphi am Ende ist:

1) Ich vergleiche zwei Stringlisten (mit Tokens) miteinander und zähle die verschiedenen Tokens darin. Das mache ich bisher so (und klappt wunderbar):

Delphi-Quellcode:

      for iii:=0 to tokenlist.Count -1 do
        begin
          occurindex:= tokenlistges.indexof(tokenlist[iii]);
          if occurindex >=0 then
            tokenlistges.Objects[occurindex]:= TObject(Succ(Integer(tokenlistges.Objects[OccurIndex])))
            else tokenlistges.AddObject(tokenlist[iii],TObject(1));
        end;

Aber: Leider zählt mein Code so case insensitive, sprich "Das" und "das" werden zusammengenommen. Gibt es eine Möglichkeit, IndexOf case sensitive zu stellen (D5!)? - Oder hat jemand eine Idee, wie ich das alternativ umsetzen könnte? (Ich habe es mit einer verschachtelten Routine und CompareAnsiStr probiert, aber dann zählt er "Das" korrekt und "das" wird für jeden Fund in die Liste (tokenlistges) eingetragen, anstatt einen entsprechenden Eintrag zu hochzuzählen..)

2) Zweite Sache: Ich bastle gerade an einem Textanalyseprogramm mit verschiedenen Routinen. Funktionieren tut alles soweit, aber die Performance lässt vor allem bei großen Textmengen (>1 Mio Wortformen/Tokens) sehr zu wünschen übrig. Gibt es eine Möglichkeit, mit der ich die Performance verbessern kann, an einer der folgenden Stellen:

- Textfiles laden
- jedes Textfile für sich in eine Token-String-List konvertieren (Extractstrings..)
- Tokens des Textfile mit den Tokens weiterer Textfiles in einer Liste zählen
- Frequenzliste in Listview ausgeben

* Ich arbeite derzeit v.a. mit Stringslists; gibts da evtl. eine schnellere Lösung o.ä.?
* Oder ließen sich die Textfiles irgendwie vorverarbeiten/vorspeichern, so dass sie schneller gelesen werden können?
* Ein anderes Programm, das das schon kann, was ich gerade baue, arbeitet anscheinend viel mehr mit der Festplatte (zumindest zeigt das die Leuchte); bei mir tut sich im Vergleich dazu gar nix, aber es dauer gerade bei großen Textmengen ewig.. Ist es etwa schneller, mit der Platte anstatt mit dem Arbeitsspeicher zu schaffen?!? - Wenn ja, wie?

Danke für Eure Mühe und viele Grüße zum WE,
frieder

[Luckie]

Wie wäre es damit:
UpperCase(occurindex) := tokenlistges.indexof(UpperCase(tokenlist[iii]));

[Bernhard Geyer]

zu: Schon probiert mit einer Sortierten Liste zu arbeiten (.Sorted := True). Ansonsten solltest du dich mal mit B-Trees auseinandersetzen.

[frieder2008]

danke; aber Luckies Vorschlag kapier' ich nicht: Uppercase konvertiert mir doch beides in Großbuchstaben, sprich, es ist dann erst recht case insensitive, oder?

[himitsu]

IndexOf verwentet intern CompareStrings und diese Funktion nutzt AnsiCompareText ... also CaseInsensitive.

Leite die Klasse (TStringList?) ab und überschreib CompareStrings (dieses ist virtual) mit einer eigenen Funktion.

Delphi-Quellcode:

function {TStrings}.CompareStrings(const S1, S2: string): Integer;
begin
  Result := AnsiCompareStr(S1, S2);
end;

[frieder2008]

Uff, sorry, da komme ich als relativer Anfänger nicht mit, weil noch nie Klassen abgeleitet, geschweige denn Methoden überschrieben. Ich habe versucht, mich dazu ein bisschen einzulesen, aber ich verstehe nicht, wie ich die Funktion (in dem Fall comparetext) überschreiben soll.

Delphi-Quellcode:

type
  TFstringlist = class(Tstringlist);
  private
  function CompareStrings(const S1, S2: string): Integer; override;
  end;

So krieg ich eine Fehlermeldung, weil Comparestrings der Basisklasse nicht bekannt sei..

[himitsu]

also bei mir geht das (selbst mit der "falschen" Sichbarkeit > Private)

Delphi-Quellcode:

Uses Classes;

Type
  TMyStringsList = Class(TStringList)
  Protected
    Function CompareStrings(Const S1, S2: String): Integer; Override;
  End;

Function TMyStringsList.CompareStrings(Const S1, S2: String): Integer;
  Begin
    Result := AnsiCompareStr(S1, S2);
  End;

ach ja, falls es wen interessiert, es wurde natürlich in der Basisklasse deklariert:
(ist also bei allen Nachkommen von TStrings so änderbar)

Delphi-Quellcode:

TStrings = Class(TPersistent)
Protected
  Function CompareStrings(Const S1, S2: String): Integer; Virtual;

[frieder2008]

Sorry, ich kriegs einfach nicht hin: Die Fehlermeldung bleibt "Comparestrings" sei nicht in der Basisklasse.

Delphi-Quellcode:

unit frisstrings;

interface

uses classes;

Type
  TMyStringsList = Class(TStringList)
  Protected
    Function CompareStrings(Const S1, S2: String): Integer; Override;
  End;

implementation

Function TMyStringsList.CompareStrings(Const S1, S2: String): Integer;
  Begin
    Result := AnsiCompareStr(S1, S2);
  End;

end.

[himitsu]

Welche Delphi-Version nutzt du denn?

[Hawkeye219]

Hallo,

Zitat von himitsu:

Welche Delphi-Version nutzt du denn?

D5 laut seinem Eröffnungsbeitrag - CompareStrings wurde mit Delphi 6 eingeführt.

Gruß Hawkeye