Neuronale Netze ???

[Stanlay Hanks]

Also ich muss sagen, du bist offensichtlich ein echter Profi!
Diesbezüglich hätte ich einen Vorschlag: Da du offensichtlich sehr viele Informationen zu dem Thema hast, und es auch verstehst, diese zu erläutern, könntest du vielleicht so eine Art "Einsteiger Tutorial" für uns Unwissende machen? Das wäre echt toll!

Man liest sich, Stanlay

[negaH]

Uff, ich hatte gehofft das keiner von Euch auf diese Idee kommt
Ein gutes Tutorial zu schreiben ist leider nicht so einfach wie es sich anhört. Dies trifft besonders auf mich zu, da ich eben ein sehr schlechter "Erklärer" bin, der zudem noch gerne rießige Gedankensprünge macht und öfters eben auch Detailverliebt ist. Kurz gesagt, ich glaube kaum das ich die Zeit finde und das Können besitze um gute Tutorials zu schreiben.

Dann ist es doch viel besser meine Sourcen zu analysieren und auf diese aufzusetzen. Die nötigen Informationen kann man aus Büchern oder aus dem WEB bekommen. Grundsätzlich bin ich eher der Typ der in einem Bruchteil der Zeit, die man benötigt um ein Tutorial zu schreiben, die kompletten Sourcen fertigstellt

Es tut mir ehrlich sehr Leid aber ich werde keine Tutorials schreiben.

Gruß Hagen

[Niels]

Moin!

Da ich gestern nicht da war konnte ich heut erst deine Posts lesen. Dass ich warscheinlich nur gute englische Infos finden werde war mir fast klar. Naja ich denk das wird kein größeres Problem. Hättest du da ein paar Vorschläge an guten Büchern?

Zitat von negaH:

Bei diesen Berechnungen fehlen aber noch die Bias Inputs, jeweils ein Biasinput pro Neuron und Output und es fehlen die Recurrenten Nervenstränge. Dies sind Nervenstränge an jedem Neuron von dessen Output als seperater Input. D.h. jedes Neuron hat als zusätzlichen Input einen Nervenstrang zu seinem eigenen Output. Dadurch entsteht ein Gedächtnis, d.h. das Netz kann sequentielle Eingaben an den Inputs erlernen. JEDER dieser Nervenstränge IST eine Zahl=Double, das Gewicht bzw. die Dämpfung, und simuliert die "Leitfähigkeit" bzw. die "Verstärkung" der "elekrischen Impulse" zwischen den "Nervenzellen" unseres Hirnes.

Ich hatte mir ja bishier erst ein Tutorial durchgelesen (über Perzeptronennetze) und da stand, dass der (das?) Bias konstant bleibt und in der Ausgabefunktion wird dann mit Hilfe des Ergebnisses der Aktivitätsfunktion berechnet ob der (das?) Bias erreicht wurde. Hier setzt auch der Lernprozess an, jedoch werden nur die Gewichte der Unit-Inputs verändert.
Ein Neuron hatte dort auch keinen extra Output, sondern nur ein Datum (nicht zu verwechseln mit Datum ), das einen Wert enthielt, welcher vom Dentrid (Input) anderer Neuronen ausgelesen wird.

Wo liegen die Unterschiede zwischen diesen beiden Lernweisen und was ist in welcher Hinsicht vorteilhafter?


MfG Niels

[Stanlay Hanks]

Zitat von negaH:

Es tut mir ehrlich sehr Leid aber ich werde keine Tutorials schreiben.

Hi. Is auch nicht so schlimm! Ich kann natürlich verstehen, dass das sehr viel Arbeit is und auch sehr viel Zeit benötigen würde. Dann werd ich eben auch mal etwas googeln.

Man liest sich, Stanlay

[stoxx]

Hallo Hagen,

kennst Du Dich mit Wavelets zum Zweck der Mustererkennung genauso gut aus, wie mit Neuronalen Netzen ?

[negaH]

Wavelets habe ich nur sehr sehr oberflächlich angeschaut, man kann ja nicht alles ausprobieren

Bisher empfand ich die beschriebenen Techniken immer als sehr kompliziert und für mich unverständlich erklärt. Sie sind eben die Weiterentwicklung der Fourier Transformation. Mit der FFT habe ich allerdings schon einiges gemacht. Desöfteren fand ich WEB Sites die sich mit Wavelets befassten aber kein einzigstes Wort über FFT usw. verlieren. Viel Sprachschöpfungen machen es auch schwierig die Wavelets zu begreifen. Mit einfacher Fourier Transformation hat das meiner Ansicht nichts mehr zu tun.

Hier im Forum sollte man von mir eine Software für die FFT finden. Für einige der obigen NN Projekte benötigt man auch eine FFT. Zb. das Datei-Erkennungs-Projekt muß ja den binären Inhalt beliebig großer Dateien auf einen annehmbaren Wertebereich für das NN downscalen, dies geht nur mit FFT's. Dh. die binäre Datei wurde per FFT einer "Frequenzspektrum-Analyse" unterzogen mit insgesammt 256 Punkten. Deren Amplitude wurde als Input für ein NN mit 256 Inputneuronen benutzt. Dieses Netz war aber nur ein "Vorschalt-Netzwerk" das aus den FFT Daten ermitteln sollte ob die Datei Textbasiert, Binär, Gepackt, Bild, Sound, Verschlüsselt oder Formatiert ist. Erst daran anschließend wurden einzelnen Netze mit diesen Ausgaben trainiert die den Dateityp filtern sollten, sprich Ausführbare Datei, BMP,JPG,PCX,WAV usw.


Gruß Hagen

[Hackbart]

Ich hab ein kleines, Erklärendes Tutorial zu diesem Themagefunden: Strucktur Neuronaler Netze

Vielleicht hilfts ja weiter. unter www.planet-source-code.com findet man zu diesem Thema ein paar Quellcode- Beispiele.
Es gibt sogar einen Code- Builder, welcher anhand eurer Imputs Code in C/Javafür ein Neuronales Netzwerk erstrellt. Wir wir ja wissen, ist die Formulierung passender Inputs, passender Themen, an welchem das NN arbeiten soll, aber grad das schwierigste...
Aber mit diesem Code- Builder kann man schon einiges erreichen!
Den gibt unter www.cobaltai.com -> Code Builder

Leider nur für sehr viel Geld...

[Minz]

Kleine Einführung zum Background Neuronaler Netze:

1. Als Grundlage dient die Arbeitsweise des Gehirns.
2. Besonders wird ein Element des Gehirns betrachtet, Neuron genannt
3. Ein Neuron ist eine Nervenzelle, die viele Eingänge hat, sogenannte Dendriten und einen Ausgang (Axon)
4. Über die Dendriten kommen sogenannte Aktionspotenziale, die sich im Zellkörper aufsummieren.
5. Ist eine gewisse Summe erreicht (man spricht von Schwellwert) "feuert" das Neuron seinerseits über das Axon.

Also ein auf den Computer bezogen:

Delphi-Quellcode:

Var
AP_D: real;         //eintreffendes Aktionspotenzial Dendriten
Schwellwert: real;
AP_A: real;         //Aktionspotenzial Axon beim Feuern

Dies stellt ein einzelnes neuronales Element eines Netes dar. (Vereinfacht)

Vielleicht später mal mehr

[Hackbart]

Es ist mir zwar mega- peinlich, das zu sagen, aber ich habe echt vergessen, wie man units als Komponenten registriert. Könnte mir das vielleicht noch einmal auffrischen?


Hagen: Dein NN- Test Programm zeigt irgedwie... intervalle. Ich weiss nich genau, wie ich das nennen soll, aber die Zeiten, in dem Programm meine Eingaben zu mehr als 50% vorhersagt und die, bei denen es nur "rät" wechseln sich, in zwar ungleichmäßigen, aber doch Intervallen ab.

Woran kann das liegen? Habe ich da vielleicht nur meine Click- Strategie unterbewusst geändert, so dass das Netz eine neue Erlernen mussste, welche ich dann wiederum ändere, oder liegt das an etwas anderem?

[negaH]

Zitat:

Es ist mir zwar mega- peinlich, das zu sagen, aber ich habe echt vergessen, wie man units als Komponenten registriert. Könnte mir das vielleicht noch einmal auffrischen?

IDE\Menu\Komponente installieren...

Zitat:

Hagen: Dein NN- Test Programm zeigt irgedwie... intervalle. Ich weiss nich genau, wie ich das nennen soll, aber die Zeiten, in dem Programm meine Eingaben zu mehr als 50% vorhersagt und die, bei denen es nur "rät" wechseln sich, in zwar ungleichmäßigen, aber doch Intervallen ab.
Woran kann das liegen? Habe ich da vielleicht nur meine Click- Strategie unterbewusst geändert, so dass das Netz eine neue Erlernen mussste, welche ich dann wiederum ändere, oder liegt das an etwas anderem?

Das Netz lernt nach jedem Tipp alle vorherigen Tipps neu, eg. es wird immer mit allen getätigten Tipps trainiert. Dadurch steigt die Komplexität des Netzes exponentiell, was wiederum die Trainingsphase erheblich zeitlich verlängert. Da mein RCC Netz aber ganz spezielle Trainings-Algorithmen enthält ist die Adaptionsgeschwindigkeit des Netzes NICHT vorhersehbar. Ein Schubweises lernen von Neuronalen Netzen, genetischen Algorithmen und Evolutions Strategien ist durchaus bekannt und logisch. Wie in der Evolution selber gibt es Trainings/Lernphasen die einen Quantitatives Wachstum und ein Qualitatives Wachstum beschreiben. Quantitive Verlaufe sind stetig linear und Qualitative Verläufe sind immer sprunghafte Anstiege.

Gute Netze/Gen. Algo. setzen sich immer aus solchen abwechselnden quantitativen und qualitativen lernphasen zusammen. Normalerweise sind diese sich abwechelenden Phasen eher zufällig, zB. bei genetischen Algortihmen. Neuronale Netze tendieren aber dazu diese abwechselnden Phasen sehr ausgeglichen durchzuführen. Als Resultat erleben wir eine Intervallhafte Lernkurve. Diese Lernkurve bestimmt ist die Geschwindigkeit der Lernfähigkeit des Netzes sowie demzufolge auch ein Maß für die antrainierte "Intelligenz" des Netzes. Es besteht also zwischen der Lernkurve des Netze ein indirekter Zusammehang zur Qualität des erzeugten Netzes. Um so mehr es trainiert wird um so spezialisierter wird das Netz sich ausbilden, man übertrainiert es also. Dadurch sinkt aber die Adaptionsfähigkeit des Netzes für neue Probleme. In diesem Moment muß sich das Netzwerk umorganisieren. Da aber in meiner Demo jeder neue Tipp + alle vorherigen Tipps in inkrementeller Weise trainiert werden wird das Netz bei sehr langen Spielen eben ineffizient. Normalerweise müsste man ein "Vergessen" der ältesten Tipps einbauen und das Netz herunter-stuzen. Das ist aber einfacher gesagt als getan

Mein Demo-Beispiel ist eben NUR eine Demonstration der unwahrscheinlichen Fähigkeiten Neuronaler Netze. Es ist schwierig solche Beispiele exakt zu konstruieren so daß sie auch noch in beweisbarer Form die Wirksamkeit der NN's aufzeigen. Normalerweise kann man sagen das der Programmtechnische Aufwand um die Netze herum größer sein muß als der eigentliche Netzwerkcode. D.h. der Code des NN's ist nur 50% der gesammten Arbeit. Wenn du dir aber mein Beispiel anschaust so sieht man das ich diesen Aufand so gering wie nur möglich gehalten habe, d.h. mein Demo-Beispiel kann nicht optimal an das Netzwerk angepasst sein. Nur in einigen Ausnahmen, wie reine Mustererkennungen, ist dieser zusätzliche Aufwand geringer. Allerings demonstrieren solche Aufgaben nicht die "Intelligenz" der Netzwerke, und waren somit keine Alternative für meine Demo.

Gruß Hagen