Text bereinigen: kurze Wörter löschen

[Blup]

Keine Wörterbuchliste sondern eine Wörterliste.
Also im einfachsren Fall eine Stringliste mit Wörtern.
Eventuell aber auch zwei Listen, eine Black- und eine White-Liste.
Die lädst du bei Programmstart aus Textdateien und speicherst diese wieder bei Programmende.
Beim Parsen schlägst du jedes Wort in deinem Text erst in der White-Liste nach, wenn dort vorhanden, bleibt es im Text.
Dann in der Blackliste, wenn dort vorhanden, fliegt es raus.
Ansonsten fragst du den Anwender, nach seiner Entscheidung fügst du das Wort in eine der Listen ein.

[hanvas]

Zitat von erich.wanker:

Rohdaten sind aus "Tesseract OCR"

- ich verwende ghostscript, um PDF´s (bestehend meist aus gescannte A4 Seiten) in TIFF umzuwandeln...
- und ich verwende tesseract OCR, um TIFF´s in TXT umzuwandeln
- dann lade ich mir die TXT rein ... lösche "Füllwörter"

Tesseract kann das eigentlich deutlich besser. Wie verwendest Du Tesseract denn, über die Kommandozeile oder als DLL mit der CAPI?

Bei Interesse kann ich eine Portierung der C API hier hochladen damit man Tesseract als DLL einbinden kann.

Unabhängig davon, schau die mal [1][2] und [3] an. Die Methoden funktionieren mit der API Version ebenso wie mit der Komandozeile.

Zitat von erich.wanker:

Ja ... Ein Wörterbuch drüberlaufen lassen wäre natürlich perfekt - aber das überschreitet meine Fähigkeiten

Das hat Tesseract schon eingebaut. Du kannst sowohl mit der Komandozeile wie auch der CAPI Version eigene Wörterbücher mitgeben. Das ist eine der Maßnahmen um das Erkennungsergebnis an sich deutlich zu verbessern. Aber Achtung ! Ein Wörterbuch auf Tesseract Ebene schränkt die Erkennungsergebnisse weitgehend ein. Das wirkt wie eine Whitelist.

Zitat von erich.wanker:

Wie soll ich z.b: Aus "Autm0bll" ein "Automobil" machen ...

Indem Du eine Liste der erlaubten Wörter aufstellst, ein Maß für die Abweichung zwischen zwei Wörtern definierst. (Beispielsweise 0-1 wobei 0 keine Übereinstimmung und 1 eine max. Übereinstimmung bedeutet). Dein gefundenes Wort mit dieser Liste vergleichst, und das Paar mit der kleinsten Abweichung ermittelst. Ist die Abweichung in einem Rahmen den Du noch erlaubst nimmst du den gefundenen wert her, ist die Abweichung zu groß dann hast Du Müll.

Die üblichen "Ähnlichkeitsmaße" sind bei OCR Daten übrigens meistens nicht so toll, da es sich nicht um Tippfehler (wie bei Levenstein) oder phoenetisch gleiche Begriffe (wie bei Müller und Mueller) sondern um visuelle Ähnlichkeiten handelt. Unter den Standard-Algorithmen ist der Jaro Winkler / Dice noch am besten geeignet, oder Du arbeitest mit Homoglyph Tabellen. Eine kleine Hilfe ist vielleicht das Nachfolgende (den größten Teil aus [4] entnommen)

[SOURCE]

uses
SysUtils, Math;

type
TBigram = string[2];
TBigrams = array of TBigram;


function TokenizeString(Str: String; IgnoreCase: Boolean): TBigrams;
var
i : Integer;
l : Integer;
begin
i:=0;
l:=Length(Str);

if IgnoreCase then
Str:=AnsiUpperCase(Str);

SetLength(Result, Ceil(l/2));

if l=0 then
Exit;

while i<=High(Result) do
begin
Result[i]:=TBigram(copy(Str, (2*i)+1, 2));
inc(i);
end;
end;

function StringSimilarityRatio(const Str1, Str2: String; IgnoreCase: Boolean): Double;
var
commonTerms: Integer;
Bigrams1,
Bigrams2 : TBigrams;
idx : Integer;
begin
commonTerms:=0;
Bigrams1:=TokenizeString(Str1, IgnoreCase);
Bigrams2:=TokenizeString(Str2, IgnoreCase);

for idx := 0 to Min(High(Bigrams1), High(Bigrams2)) do
begin
if Bigrams1[idx]=Bigrams2[idx] then
Inc(commonTerms);
end;

Result:=2 * commonTerms / (Length(Bigrams1) + Length(Bigrams2));
end;

// Beispiel wie du das einbauen kannst.

function CheckDict (const searchFor : String; Dictionary : TStrings; var s : String ) : Double;
var i : Integer;
r : String;
d : Double;
begin
result := 0.0;
s := '';
for i := 0 to Dictionary.Count-1 do
begin
d := StringSimilarityRatio(dictionary[i],searchFor);
if d>result then
begin
s := dictionary[i];
result := d;
end;
end;
end;

[/SOURCE]

Zitat von erich.wanker:

Und: Es sind viele Familiennamen und Regions-namen in den Texten - die findet man nicht in einer Wörterbuchliste - und die sind eigentlich meine wichtigsten Indikatoren

[/QUOTE]

Die Arbeit die Listen zu erstellen nimmt die aber niemand ab. Sind ja nur ganz normale Textdateien, und Material findest Du im Internet zu hauf [5][6] und viele mehr.

cu Ha-Jö

[1] https://github.com/tesseract-ocr/tes...ImproveQuality
[2] http://stackoverflow.com/questions/2...seract-library
[3] https://mazira.com/blog/optimal-imag...-tesseract-ocr
[4] https://github.com/chaosben/theunkno...ringSimilarity
[5] http://www.namepedia.org/de/lastname/
[6] http://www.namenforschung.net/dfd/woerterbuch/liste/
[7] https://gedbas.genealogy.net/names/list

[erich.wanker]

Hallo und schöne Grüße aus dem Salzburger-Land

VIELEN DANK für die Infos !

Zitat:

Tesseract kann das eigentlich deutlich besser. Wie verwendest Du Tesseract denn, über die Kommandozeile oder als DLL mit der CAPI?

Via Kommandozeile zuerst:

RunProcess(MainForm.datenpfad+'ghostscript\bin\gswin32c.exe -dNOPAUSE -sDEVICE=tiffgray -r300x300 -dBATCH -sPAPERSIZE=a4 -sOutputFile='+tiffname+'Image-%d.tiff '+destname , SW_MINIMIZE, false, ProcID);
Danach:

RunProcess(exepfad+'tesseract\tesseract.exe '+quelle+' '+ziel+' -l deu' , SW_MINIMIZE, true, ProcID);
Die "StringSimilarityRatio" werd ich mir am Wochenende genauer anschauen

Vielen Dank
Erich