Visualisierung von von Daten

[Klaus01]

.. vielleicht sehe ich es nicht richtig.

Aber auf dem Bild ist nicht die Ähnlichkeit von Wörtern,
sondern die Ähnlichkeit der Bedeutung der Wörter zu sehen.

Zum ersteren würde mir Levenshstein Distanz einfallen.

Zu zweiteren eine große Datenbank mit Wörtern und deren Bedeutung.

Grüße
Klaus

[BUG]

Zitat von Klaus01:

Aber auf dem Bild ist nicht die Ähnlichkeit von Wörtern,
sonder die Ähnlichkeit der Bedeutung der Wörter zu sehen.

Das ist völlig egal, da er die "Ähnlichkeitswerte" bereits hat und es nur um die Darstellung geht

[frieder2008]

Ja, richtig. Visualisiert werden soll auch bei mir die Ähnlichkeit von Wortbedeutungen; wie das geht, weiß ich und ist bereits implementiert. Problem ist die Visualisierung.

Zitat von Klaus01:

Zum ersteren würde mir Levenshstein Distanz einfallen.

Oje, ich bin kein Mathematiker/Informatiker Dieses Prinzip war mir bereits bekannt, aber ich habe nicht die geringste Ahnung, wie ich das codetechnisch angehen könnte, mit welchen Komponenten o.ä.

Eine Idee wäre folgende, zu der ich aber einen delphi-Ansatz/Anfang bräuchte:
- Feste Matrix an Feldern (z.B. 10x10 Wörter)
- Startwort festlegen und in die Mitte setzen
- die ersten 4 'ähnlichsten' Wörter drum herum gruppieren

###########Wort3
#############|
####Wort2 - WortUrspr - Wort1
#############|
###########Wort4

- Dann Wort2 nehmen, erste 4 ähnlichste Wörter dazu und ebenso um Wort2 herum gruppieren
* dabei 'Ähnlichkeit' zu allen anderen bisher dargestellten Wörtern prüfen
* Wenn z.B. Wort2x1 auch im 'Ähnlichkeitsradius (erste 4 ähnlichste Wörter)' von Wort1 liegt, dann entsprechend umgruppieren

###########Wort2 - Wort2x1[=Wort5]
#############|#####|
####Wort3 - WortUrspr - Wort1
#############|
###########Wort4

Tja, aber WIE umgruppieren?!?

(Ich glaube, visualisieren müsste ich dann nicht einmal als Bild, sondern da reichte dann ja eine Tabelle o.ä.).

Gruß, frieder

[Klaus01]

.. würde ich grafisch lösen.

Verschiedene Radien welche die Distanz zum "Ursprungswort" (Zentrum) verdeutlichen.
O.k. das würde nur funktionieren wenn sich alle Ähnlichkeiten auf das "Ursprungswort"
beziehen.

Grüße
Klaus

[Gausi]

Du hast also gewissermaßen eine Matrix, die Ähnlichkeiten zwischen den Objekten angibt, und willst die Objekte so anordnen, dass ähnliche Objekte nahe beieinander stehen?

Das ist allgemein ein ziemlich komplexes Thema, und lässt sich z.B. mit Multidimensionaler Skalierung lösen, bzw. mit dem SMACOF-Verfahren. Damit hast du zwar immer noch nicht die Tabellenstruktur, aber das wäre ein erster Ansatz, um die Wörter zu plazieren.

Für Nicht-Mathematiker ist das wahrscheinlich nichts - ggf. gibt es für den Fall hier noch einfachere Methoden.

http://de.wikipedia.org/wiki/Multidi...ale_Skalierung
http://en.wikipedia.org/wiki/Stress_majorization

[BUG]

Wenn das keine wissenschaftliche Anwendung ist, würde ich mir erstmal nicht so viele Gedanken machen und die Tabelle mit einem einfachen Schema ausfüllen, wobei man schon benutzte Worte einfach wegstreicht nicht mehr betrachtet.

Hier ein Vorschlag, um eine weitere "Schicht" hinzuzufügen:
dp.png
Dazu bräuchtest du noch die Möglichkeit, den Abstand zu 2 Worten zu ermitteln, was man probeweise einfach mit sqrt(sqr(DistanzZuA) + sqr(DistanzZuB)) regeln könnte.


Eventuell reicht so ein naiver Ansatz ja aus

[frieder2008]

Danke für die Infos.

Zitat von BUG:

wobei man schon benutzte Worte einfach wegstreicht.

Hm, das verstehe ich doch nicht ganz. Es sollen eig. keine Wörter gestrichen werden, sondern dann im Zweifel umgruppiert. Aber ich sehe ein, dass das nicht so einfach wird.

Zitat von Gausi:

Du hast also gewissermaßen eine Matrix, die Ähnlichkeiten zwischen den Objekten angibt, und willst die Objekte so anordnen, dass ähnliche Objekte nahe beieinander stehen?

Ja. Bei Gephi lässt sich das schon ganz gut automatisch machen, ist aber halt extern und wird als Netzwerk dargestellt. Und ich habe keinen weiteren Zugriff auf die Visualisierung (Click-Ereignis o.ä.).

Zitat von Gausi:

Das ist allgemein ein ziemlich komplexes Thema, und lässt sich z.B. mit Multidimensionaler Skalierung lösen, bzw. mit dem SMACOF-Verfahren. Damit hast du zwar immer noch nicht die Tabellenstruktur, aber das wäre ein erster Ansatz, um die Wörter zu plazieren.

Hat das hier schon mal jemand gemacht oder gibt es irgendwo einen Bsp.-Code, dem ich mich experimentell mal nähern könnte?

Oder weitere Ideen?

Danke und gruß,
frieder

[WM_CLOSE]

Wie viele Wörter willst du denn visualisieren?
Ich sage mal so, die Datenmenge, um die Wörter einzeln zu gruppieren wird exponenziell ansteigen:
Im Beispiel 1 Ähnlichkeit=1Byte
10 wörter: 10 Wörter haben je zu 10 Wörtern Ähnlichkeit: 100 Bytes
100 Wörter: 100 Wörter haben je zu 100 Wörtern Ähnlichkeit: 10Kb
1000 Wörter: 1000 Wörter haben je zu 1000 Wörtern Ähnlichkeit: 1Mb

[Gausi]

Zitat von frieder2008:

Hat das hier schon mal jemand gemacht oder gibt es irgendwo einen Bsp.-Code, dem ich mich experimentell mal nähern könnte?

Drüben in der EE hab ich das mal bei einem Adventsrätsel gemacht (da war die Methode zwar mit Kanonen auf Spatzen geschossen, ist aber hübsch anzusehen). Für das Rätsel habe ich ein "Bildformat" gebaut, das nicht die Positionen der schwarzen Pixel speichert, sondern die Abstände eben dieser zueinander. Das Programm rechnet aus der Matrix in der Datei dist.mat dann die Positionen zurück.

Zitat von frieder2008:

Also visualisieren würde ich gerne bis zu 3000 Wörter unter Berücksichtigung ihrer jeweils bis zu 3 ähnlichsten anderen Wörter.

Das reicht für das Verfahren nicht - da wird schon eine halbwegs volle Matrix benötigt, also auch die Ähnlichkeit sehr unterschiedlicher Wörter. Und bei 3000 Wörtern dauert das auch ein paar Minuten.