Ähnliche strings finden (wie z.B. google Suche)

[joachimd]

Levenshtein und soundex sind nicht ganz so gut für deutsch. Kälner Phonetik bringt dich hier weiter.

[Gausi]

Warum sollte Levenshtein nicht gut sein für die deutsche Sprache? Das Verfahren ist doch komplett unabhängig von der Sprache, und zählt einfach die minmale Anzahl von Ersetzungen/Einfügen/Entfernen-Operationen auf Zeichenebene. Ob ich da deutsche oder englische Wörter oder ein Stück DNA-Code reinschmeiße, ist völlig egal.

Wenn man also ähnliche Strings finden möchte, ist das unabhängig von der Sprache gut geeignet. Für ähnlich klingende Worte (Meier, Mayer etc.) dann tatsächlich nicht unbedingt, und dafür sind dann sprachabhängige Algorithmen sinnvoll. Die Frage ist dann aber, inwiefern diese lautbasierten Verfahren Buchstabendreher erkennen können, oder wie diese mit anderen Zeichen (Klammern, Satzzeichen, ...) umgehen. Kommt halt auf den Anwendungsfall an.

Für die Titelsuche in meinem mp3-Player fahre ich mit Levenshtein (das ist ja in meinen oben verlinkten ApproxStrUtils implementiert) ganz gut - und da habe ich ja auch Fälle wie "Pink" und "P!nk" und ähnliche Scherze.

Edit: @TigerLilly: danke für den Link. Die Ergänzung mit "Verdreher als eine Operation zählen" muss ich mir mal genauer anschauen. Das scheint mir eine sinnvolle Ergänzung zu sein.

[joachimd]

Zitat von Gausi:

Warum sollte Levenshtein nicht gut sein für die deutsche Sprache?

Mit Levenshtein bildest Du nur die Anzahl der Ersetzungen ab, nicht unbedingt ähnlich klingende Worte. Dafür gibt es ja soundex - das aber nur im englischen richtig funktioniert. Oder eben die Kölner Phonetik, welche speziell für die deutsche Sprache entwickelt wurde.

Edit: Beispiel Maier und Meyr haben eine Distanz von 3, bei Kölner Phonetik sind beide identisch

[himitsu]

Zitat von Gausi:

Warum sollte Levenshtein nicht gut sein für die deutsche Sprache?

Jupp, bei Levenstein wäre es praktisch egal, aber bei Soundex ....

Zitat von Gausi:

Wenn man also ähnliche Strings finden möchte, ist das unabhängig von der Sprache gut geeignet. Für ähnlich klingende Worte (Meier, Mayer etc.) dann tatsächlich nicht unbedingt, und dafür sind dann sprachabhängige Algorithmen sinnvoll. Die Frage ist dann aber, inwiefern diese lautbasierten Verfahren Buchstabendreher erkennen können, oder wie diese mit anderen Zeichen (Klammern, Satzzeichen, ...) umgehen. Kommt halt auf den Anwendungsfall an.

z.B. 'ne KI/AI oder ein Embedding nutzen.

[Gausi]

Das stimmt schon, aber dann ist die eigentliche Aussage ja, dass Levenshtein nicht gut geeignet ist für Sprache.

Levenshtein und SoundEx (und verwandte Verfahren) sind halt völlig verschiedene Ansätze - einmal reine Betrachtung der Zeichenketten, und dann die (sprachabhängige) Umsetzung dieser Zeichenketten in akkustische Signale. Was sinnvoller ist, hängt vom Anwendungsfall ab.

Nebenbei, semi-OT: Was macht eigentlich Soundex bei englischen Inkonsistenzen wie "tough" und "though"? Oder anders: Sollen diese beiden Worte als ähnlich gelten (sehr ähnliche Zeichenketten), oder als grundverschieden (völlig andere Aussprache)?

[joachimd]

Zitat von Gausi:

Was macht eigentlich Soundex bei englischen Inkonsistenzen wie "tough" und "though"?

dasselbe T200 https://de.toolpage.org/tool/soundex