Wortliste erstellen

[Logic]

Hallo,

wie kann ich z.b. eine Datei auslesen und die Wörter dieser Datei anzeigen und auch anzeigen lassen wie oft sie benutzt wurden?

mfg
Thorsten

[Christian Seehase]

Moin Thorsten,

such' hier doch mal nach Wortliste, Worte zählen oder Wörter zählen.
Das hatten wir vor kurzem erst ein paar Mal.

[Luckie]

Mit explode und als Trennzeichen das Leerzeichen den Text zerlegen. Die wörter in eine sortierte Stringliste packen und so einstellen, dass Duplikate ignoriert werden und dann meine Prozedur anwenden:

Delphi-Quellcode:

{------------------------------------------------------------------------------}
{  Worthäufigkeit ermitteln                                                    }
{------------------------------------------------------------------------------}

procedure Occurence(sl: TStrings; Text: string; var WordArray: TWordArray);
var
  OuterLoop, InnerLoop: Cardinal;
  TextWordList: TStringDynArray;
  Count: Cardinal;
begin
  TextWordList := Explode(' ', Text);
  Count := 1;
  // Wortliste durchgehen
  for OuterLoop := 0 to sl.Count - 1 do
  begin
    for InnerLoop := 0 to Length(TextWordList) - 1 do
    begin
      if sl.Strings[OuterLoop] = TextWordList[InnerLoop] then
        inc(Count);
    end;
    WordArray[OuterLoop].Word := sl.Strings[OuterLoop];
    WordArray[OuterLoop].Count := Count;
    Count := 1;
    if bCancel = 1 then
      Break;
  end;
end;

TWordArray ist eine dynamisches Array vom Typ:

Delphi-Quellcode:

type
  TStringDynArray = array of string; // um Textzeile in Wörter-Array zu zerlegen
  TWordRec = record // zu jedem Wort gehört die Anzahl
    Word: ShortString;
    Count: Cardinal;
  end;
  TWordArray = array of TWordRec;

Im Feld Word sthet dann das Wort und im Feld Count die Häufigkeit.

[Jens Schumann]

Moin Luckie,
Dein source wirft bei mir eine Verständnisfrage im Zusammenhang mit dyn. Array's auf.
Da ich grundsätzlich auf dyn. Array's verzichte bin ich hier nicht besonders fit.
Die Variable TextWordList ist so ein dyn Array. Mit TextWordList := Explode(' ', Text); speicherst Du in TextWordList eine Referenz auf ein in Explode erzeugtes dyn. Array (ist ja auch der Ergebnistype der Funktion). Jetzt belegen aber auch dyn. Array Arbeitsspeicher auf dem Heap. In der Hilfe steht, dass dyn. Array mit der Zuweisung von Nil freigegeben werden. Das fehlt in Deinem Code. Kann es auch sein das dyn. Array's automatisch freigegeben werden wenn der Gültigkeitsbereich der Variablen (hier: TextWordList) verlassen wird?

[Luckie]

Ich habe es extra beobachtet im Taskmanger. Im original Code von Explode hier im Forum wird, das Array immer um 5 erhöht. Da ist mir bei eienm 1 MB Text selbst mit 1 GB RAM der Soeicher ausgegangen. Ich haeb dann Explode das Array immer um 1000 vergrößern lassen und da ging es dann. Da ist der Speicher der anwendung von 4 oder 5 Mb auf 9 MB hochgegangen aber danach wieder auf 4 oder 5 zurück. Das sind meiner Erfahrungen. Es scheint also zu gehen. Delphi gibt also die lokale Variable TextWordList, nach verlassen der Prozedur selbst wieder frei.

[Jens Schumann]

Zitat von Luckie:

Delphi gibt also die lokale Variable TextWordList, nach verlassen der Prozedur selbst wieder frei.

Das hätte ich jetzt nicht erwartet.