Effekte in Hopfield-NNen

[Meflin]

Moin!

Ich habe mir ein Hopfield-Neuronales Netz zur Zeichenerkennung gebastelt. Im Moment experimentiere ich mit 100 Neuronen, bzw. einer 10x10 "Pixel" Eingabefläche.

Wenn ich dem Ding 4 Zeichen beibringe, und dann etwas eingebe, was irgendwie annähernd wie eins der gelernten Zeichen aussieht, dann wird dieses Zeichen auch korrekt erkannt. Also vermute ich, kann meine Implementation nicht ganz falsch sein. So weit so gut.

Nun zum weniger erfreulichen Teil: Egal wie absurd meine Eingabe ist, es wird fast immer ein Zeichen erkannt! Auch wenn die Eingabe nichtmal entfernt mit den gelernten Zeichen zu tun hat, der stabile Endzustand ist fast immer ein gelerntes Zeichen (manchmal ist es auch ein invertierter gelernter Zustand und nur sehr sehr selten ein nicht gelernter)! Das ist natürlich dumm, bedeutet es ja jede Menge false positives. Warum konvergiert das Netz da nicht in einen ungelernten Endzustand?!

Nun wäre die konkrete Frage: Ist das einfach ein Effekt der Hopfield-Netze, oder ist da evtl. was an meiner Implementation fehlerhaft?

[Meflin]

Push

[Flips]

Hi, ich hab hier auch mal ein Hopfield-Netz gepostet und da ist es auch so.
Ich vermute es ist einfach normal. Das Netz zielt ja darauf ab, einen gelernten Zustand widerherzustellen. Und selbst wenn du in deiner Eingabe kein Muster mehr erkennst, so ist ja das tolle an künstlichen neuronalen Netzen, dass sie dann erkennen, zu welchem Muster es am besten passt.
Und deswegen ordnet das Hopfield-Netz deinen für dich "sinnlosen" Eingaben nach endlich vielen Schritten auch ein Zeichen zu!

Übernehme keine Garantie, dass das so stimmt^^

[Meflin]

OK, gut zu wissen, dann ist das halt so (auch wenns irgendwie blöd is ).

Noch ne Frage: Hast du die Gewichte mit 1/n (Neuronenzahl) multipliziert, oder einfach ganzzahlig gelassen. Irgendwie seh ich da keinen Sinn dahinter, aber in meinem "Lehrbuch" ists so definiert

[TurboMartin]

Ich hatte damit auch mal bei mir in Informatik angefangen, kam aber nicht so weit weil ich immer um Hilfe gerufen wurde, bzw. zeitweise unterrichten musste.

Schau dir mal hier den Download Introduction to Neural Networks with Java, 1st Edition(ISBN:097732060X) an, im Ordner ch2 ist entsprechendes. Das hatte glaube ich nicht sowas, was Du beschrieben hast...
Ber ich konnte es eben nicht testen...