Neuronale Netze ???

[braingrenade]

Zitat:

aber ich habe bis jetzt noch keine praktische Anwendung gesehen bei der ein NN wirklich intelligent reagiert, oder absolut neue Erkenntnisse selber erdacht hätte

liegt daran das neuronlae netze noch nicht 'wachsen' können !
aber wenn die Neurologen erst mal rausgefunden haben wieso,wann und wo sich neue synapsen im hirn bilden und genügend resourcen vorhanden sind
ließe sich ein intelligentes netz verwirklichen.

[JoelH]

Zitat von negaH:

Die wichtigste Grundvorraussetzung für Fuzzy Logic = Schwellenwert Computer, ist das ein "Bit" ein analoger Zustand ist. Die minimalste Voraussetzung an Hardware wäre ein Trinärer Computer, d.h. alle Operationen müssen durch mögliche Zustände representierbar sein. Eben "Ja" , "Nein" und "ich weiß nicht so recht".

Genau dies ist ja ein NN-Knoten für mich : '+-drei gehen rein, einer kommt raus'

Zitat von negaH:

Ein Neronolares Netz "glättet" nichts, das wäre die Aufgabe von Interpolationen usw. Ein NN bildet komplizierte Funktionen ab die selber höherdimensional und nicht stetig sind.

Okay, ich gestehe ich setze zuviel voraus Natürlich ist ein NN nicht fähig selbst was zu interpolieren, siehe dann auch weiter unten, aber es ist die Foraussetzugn um was interpolieren zu können. Die Wirklichkeit ist eben nicht JA und NEIN , sie ist BUNT. Das ist auch nur eine Interpolation, irgendwie.

Zitat von negaH:

Ein heutiges NN kann niemals besser als der Lehrer werden, höchsten schneller und präziser.

Das wollte ich damit aussagen, in der Motorenentwicklung wwerden mittlerweile solche Dinge eingesetzt. Sie sind genauso gut wie ihre Lehrer aber sie sind schneller und brauchen keine Pausen. Ob dies der Gewerkschaft freude macht wage ich zu bezweifeln aber gerade auf Motorentestständen gibt es wohl solche elektronische'Motorengeräuchversteher'.

Zitat von negaH:

Der Lehrer hat zu jeder Zeit die Möglichkeit das Netz zu "belügen" und mit falschen Daten zu füttern.

Das ist ja aber kein Problem, denn das ist wie mit einem Kind, ist der Daddy ein 'Bescheisser' wird es der Sohn/Tochter auch Das liegt dann in den Genen

Zitat von negaH:

Somit ist ein NN nur eine technische Methode, nichts mehr.

+
Aber gerade hier steckt, IMHO, eben das Knowhow dahinter. Ich kann 1000 mal töbne abhören und verstehe nichts. Diese Programme sehen darin aber 100 verschiedene Kennungen. Natürlich haben sie diese auch nur gelernt aber sie sind arin sicher und dies ist für mich schon mehr als es eine Stupide 10101 Maschine ist. Sie hat einfach 3 eingänge und 1 Ausgang der Bitrechner hat nur 2 Eingänge und torztdem auch nur einen Ausgang.

[negaH]

Zitat von JoelH:

Zitat von negaH:

Die wichtigste Grundvorraussetzung für Fuzzy Logic = Schwellenwert Computer, ist das ein "Bit" ein analoger Zustand ist. Die minimalste Voraussetzung an Hardware wäre ein Trinärer Computer, d.h. alle Operationen müssen durch mögliche Zustände representierbar sein. Eben "Ja" , "Nein" und "ich weiß nicht so recht".

Genau dies ist ja ein NN-Knoten für mich : '+-drei gehen rein, einer kommt raus'

Ich widerspreche dir nur ungern.
Du vergleichst Äpfel mir Birnen. Fuzzy Logic bezeichnet Schwellenwert basierende Technologien und haben erstmal nichts mit neuronalen Netzen zu tun. Natürlich gibt es Fuzzy Computer die auch Neuronale Netzwerke implementieren, aber math. und technisch gesehen sind es zwei verschiedene Paar Schuhe. Auch wenn in Neuronalen netzen ebenfalls eine Schwellenwert Funktion als Neuronen-Aktivierungs-Funktion eingesetzt wird. Allerdings auch das wäre viel zu verallgemeinert da es durchaus NN's gibt die ohne solche Schwellenwertfunktionen auskommen.
Bei der Fuzzy Logic geht es hauptsächlich darum WIE die internen Zustände der einzelnen "Bits" dargestellt werden.

Die Aussage das ein Netzwerk-Knoten drei Inputs hat ist ebenfalls nicht richtig. ZB. in einem voll-verknüpften recurrenten Netzwerk hat ein Knoten zu jedem Knoten der vorherigen Schichten eine Verbindung + 1 Bias + x Recurrente Verbindungen. In einem normalen BP Netzwerk entfallen die Recurrenten Links. Die Anzahl der Verknüpfungen kann für jeden Konten sehr individuell sein, in fact man könnte sie sogar manuell verknüpfen. Somit besteht keinerlei Zusammenhang der Theorien zwischen trinärer, bzw. analoger Fuzzy Logic zu NN's.

Gruß Hagen

[negaH]

So, nun für die es interessiert eine klitze kleine NN Demo. Enthalten ist meine Neuronale Netz Komponente.

In Unit1.pas findet ihr Erklärungen zum Program.

Gruß Hagen

[Luckie]

Wie funktioniert das Programm? Also wie kan ich dem NN was bei bringen?

[negaH]

Indem du abwechselnd auf die JA/NEIN Schalter drückst, ca. 100-200 mal. Das Netz erlernt deine psychologische Affinität zu bestimmten Musterreihenfolgen und sollte mit deutlich mehr als 50% aller Spiele gewinnen. D.h. es versucht zu erlernen in welcher Reihenfolge du die JA/NEIN Schlater drückst und gibt einen Tip ab. Sollte dieser Tipp richtig gewesen sein so hat es ein Punkt gewonnen, sollte der Tip falsch sein so hast DU einen Punkt gewonnen. Aufgabe ist es für dich deine Punktzahl deutlich höher als die des Netzes zu bekommen.
Es gibt natürlich Tricks das Netz fertig zu machen, das liegt aber nicht am Netz sondern an der Art und Weise wie das Netz gefüttert wird. Damit wir live während des Spieles das Netz trainieren können muß es mit ziemlich wenig Information auskommen. Je länger trainiert wird je höher wird die Wahrscheinlichkeit das das Netz gewinnt.

Ansonsten stehen in Unit1.pas einiges an Erklärungen.

Die Nachfrage nach Neuronalen Netzen scheint nun doch nicht so hoch zu sein wie ich dachte, leider

Wenn irgendwer eine bessere Idee für eine KI-Simulation hat, die natürlich im zeitlichen Rahmen bleibt, dann her damit.

Gruß Hagen

[Niels]

Moin!

Zitat von negaH:

Die Nachfrage nach Neuronalen Netzen scheint nun doch nicht so hoch zu sein wie ich dachte, leider

Naja...vieleicht hast du viele mit deiner 2,5k Zeilen Quelltext Unit etwas abgeschreckt
Auf jeden Fall interessiert mich das Thema und ich hab vor kurzem angefangen mich damit zu beschäftigen. Im Internet bin ich aber bis jetzt nur auf ein brauchbares Tutorial gestoßen: Uni Bochum

Kennst du Tutorials (am besten deutsch), die das Thema tiefgründig erklären? Ich würde auch ein Buch kaufen. Wobei mir auch hier deutsch lieber wäre (in deiner Unit standen nur 2 englische). Wobei ich nicht grundsätzlich gegen ein englisches Buch bin. Ich suche aber eins, welches die Grundlagen über Aufbau von neuronalen Netzen und tiefgründigere Kenntnisse des Lernenes selbiger vermittelt.

MfG Niels

[negaH]

Hi Niels,

solche Fragen sind immer recht schwierig zu beantworten. Ich selber habe ausschließlich englische Literatur, hauptsächlich die originalen Forschungsarbeiten über die entsprechenden Netzwerke. Mein Grundwissen stammt aus grauer Vorzeit, denn auch schon vor 10-15 Jahren kannte man neuronale Netzwerke. Du hast aber recht mit der Aussage das man nur noch sehr wenig gute und vollständige Informationen im WEB findet. Das liegt wohl am derzeitgen Trend alles durch Patente schützen zu wollen.

Trotzdem mal zwei Links:
http://www.cs.stir.ac.uk/~lss/NNIntro/InvSlides.html
http://www.doc.ic.ac.uk/~nd/surprise...11/report.html

Um englisch wirst du nicht herumkommen, da selbst die Deutschen Forscher alles in englisch veröffentlichen, obwohl die Deutschen auf dem Gebiet neuronaler Netzwerke lange Zeit führend waren.

Meine Unit basiert auf einem relativ neuem und daher noch wenig bekanntem Netzwerk.
Leider ist es bei der Umsetzung von NN's in Software immer so das aus Effizienzgründen die Arbeitsweisen der NN's ver-kompliziert dargstellt werden. D.h. der Source sieht immer viel schwieriger aus als er vom Modell her gesehen eigentlich tatsächlich ist.

Wenn das Auffinden von Informationen über NN's im WEB schon schwierig ist so wird es nochmals viel schwieriger an Informationen heranzukommen die echte praktische Beispiele von AI aufzeigen. D.h. man findet immer wieder Informationen das mit Hilfe von NN's zB. "intelligente" Spiele oder Roboter gebaut wurden. Aber wie und mit welchen Netzwerktypen dies erfolgte findet man nicht.

Es ist also ein großer Unterschied zwischen dem Wissen wie NN's funktionieren und wie sie nun auf einfachste "Demo" probleme angewendete wurden, zu dem praktischen Wissen wie man NN's nun tatsächlich anwendet.

Zb. wollen wir eine AI für ein Game einsetzen. Dazu soll ein NN als Entscheidungskern dienen. Selbst wenn man weiß wie NN's funktionieren so benötigen wir noch das entscheidende Wissen wie wir das NN richtig in die AI einbauen müssen. Das sind solche Fragen wie, "woher kommt der Input des NN's ?", "wie bereiten wir den AI Input auf so daß das NN sauber arbeiten kann?", "wie interpretieren wir den Output des NN's, und verknüpfen diesen mit sinnvollen Aktionen der AI ?", "wie trainieren wir das Netzwerk ?"

Mit meiner Unit habe ich versucht die Detailfragen der korrekten Einstellung eines NN's zu automatisieren. Normalerweise muß ein NN-Anwender bei den meisten NN's sehr viele und wichtige Parameter einstellen, damit das NN überhaupt korrekt arbeitet. Zb. Layer Anzahl, Aktivierungsfunktionen, Anzahl der Neuronen (ich bervorzuge den Namen "Units") pro Layer, deren Verküpfungen usw. usw.

Ich persönlich habe mich bisher mit Schrifterkennungen, Spracherkennungen, Mustererkennungungen in Dateidaten Klassifizierungen und kleineren Game KI's wie zB. für 4Gewinnt herumgeschlagen.
Bei der Schrifterkennung drehte es sich hauptsächlich um sogenannte "Stroke-basierte" Systeme, also exakt sowas wie die Schrifterkennung auf Palm Handhelds oder Pentop PC. Das heist also keine OCR-Zeichenerkennung. Das Spracherkennungsprojekt ist eher als "Sound-Filterungs" projekt zu verstehen. Das NN sollte aus einem Stereo-Signal die 3D Räumlichkeiten der Aufnahme filtern. Also im Grunde ein System das so ähnlich wie ein Dolby Sourround Chip aus einem Stereosignal ein 3D Signal Filter implementiert. Die rießige Schwierigkeit für mich war dabei der Fakt wie man korrekte Daten erzeugt die zum Training des Netzwerkes notwenig sind.
Die Mustererkennung basierte auf der Idee x'beliebige Dateien anhand ihres Inhaltes zu klassifizieren. Das System sollte erkennen ob eine beliebige Datei aus Text,HTML,Pascal oder komprimierten Daten usw. besteht. Das hat auch ziemlich sauber funktioniert.
Die Game KI's war da eigentlich schon viel schwieriger, da man dort die Regeln und deren Software Umsetzung und Algorithmen erstmal exakt beherrschen muß. Erst wenn alle konventionellen Methoden keine Verbesserungen mehr bringen fängt man an Neuronale Netzwerke oder Genetische Algos. zu verwenden. Eine spezielle Form einer Game-AI war zB. mein Projekt zur automatischen Erzeugung beliebiger Kreuzwort Rätsel. Dabei ging es darum ein beliebiges Gitter mit sinnvollen Wörtern zu füllen. Es stellte sich heraus das hier Genetische Algorithmen viel effizienter sind.
Ein besonderes Spezialprojekt war die Benutzung der NN's zur Klassifizierung verschlüsselter Informationen bzw. zum Brechen einfacher Czäsar Verschlüsselungen.

Alle Projekte haben zwei gemeinsamme Merkmale
1.) die möglichen Datenmengen und deren Kombinationsvielfalt ist schier unendlich groß, das NN sollte also die generischen Hauptmuster/Unterscheidungsmerkmale finden.
2.) es gibt keine einfachen mathematischen Formeln die den optimalen Weg finden können, das NN eg. genetischer Algo. sollte also solche "Formeln" finden.

Gruß Hagen

[X-Dragon]

Auf jeden Fall eine sehr interessante Sache, auch wenn das Anwendungsgebiet für einen sinnvollen Einsatz noch nicht so groß ist bzw meist zu aufwendig. Aber ein Terminplaner mit eigener KI wäre auch mal eine ganz interessante Sache ... .

Wenn ich mir das so überlege ist das im Prinzip ja gar nicht so blöd ... ein Programm welches ein zeitlang den User beobachtet und dann anfängt bestimmte Arbeitsvorgänge zu optimieren (also bei größeren Anwendungen , Programmteile vorzeitig schon mal in den Speicher laden etc.) ... muss ja auch gar nicht so komplex werden.

[negaH]

Sowas ähnliches wird es auch in Zukunft geben, den Wizard-Sekretär.
Bei den Terminen zB. kann man sehr gut erkennen WO das eigentliche Problem entsteht. Das NN zu füttern bzw. das NN zu konstruieren ist kein Problem. Viel schwieriger wird es die Eigenschaften der Termine wie Uhrzeit/Kunde/Ort/Projekt so zu klassifizieren das neue unbekannte Termine an neuen Orten und mit neuen Projekten dennoch eine gemeinsamme Entsprechnung zu schon geplanten Terminen erhalten. Denn nur so entstehen sinnvolle Eingaben für das Netzwerk. Das Netzwerk entwickelt dann die Fähigkeit die Muster des Menschen bei der Terminierung zu entdecken, und demzufolge so zu planen wie es der Mensch getan hätte. Will man aber aus einem Berg von Terminen einen Plan erzeugen der möglichst effizient die Termine legt, sprich Fahrzeiten, Uhrzeiten und Prioritäten berücksichtig, dann wären Genetische Algorithmen besser geeignet.

Ein interessantes Projekt wäre für mich eine eigene Suchmaschine. Im Laufe der letzten 2 Jahre musste ich leider feststellen das die heutigen Internet-Suchmaschinen immer weniger für mich relevante Resultate bringen. Es werden immer häufiger irgendwelche virtuell-kommerzielle Links gefunden die auf eBay oder andere Suchmaschinen verweisen. Immer seltener findet man die echt guten privaten Homepages von wirklich interessierten Menschen. Das kann NICHT daran liegen das das Verhältniss von guten privaten Homepages zu kommerziellen Homepages verschoben wurde. Es liegt eher am pushen kommerzieller Pages. Öfters lege ich KEINEN Wert darauf sehr schnell Resultate zu bekommen. D.h. ein Such-Robot der über 1-2 Tage hinweg eine einzigste Suche ausführt, aber dabei WIRKLICH relevante Pages findet ist mir lieber, als Google mit seinen 10.000 Links auf eBay o.ä. Alleine schon der Fakt das man heute die echten kommerziellen Seiten der Hersteller nicht mehr so einfach findet ist schmerzhaft. Nun die Aufgabe des NN's wäre es die schnelle Entscheidung zu treffen ob eine anvisierte Hompage kommerzieller oder informeller Natur ist. Am besten sollte das NN nur auf Grund des Index-HTML's erkennen ob sich eine Suche auf der Hompage überhaupt lohnt. Das NN klassifiziert also den Internet-Spam-Müll !

Praktisch gesehen könnte das so funktionieren: Eine Software stellt Anfragen an Google oder MetaGear. Deren HTML's werden zerlegt und jede Seite per NN analysiert. Die Aufgabe der Software besteht also darin den Intenet-Spam-Müll raus zu filtern. Aus einem Resultat von zB. 10.000 Links bleiben dann 2-3 Kategorien übrig, wie Private Hompages, echte kommerzielle Firmen und Spam-Müll.

Gruß Hagen