Neurale Netze und genectic algorithmen.

[mensch72]

..."sondern, ob noch jemand so etwas programmiert?"...
- wörtlich gesehen programmiere ich selbst kein neuronales Netz, aber ich wende sowas an und habe Erfahrung in der Nutzung freier wie kommerzieller NN-Pakete
- real wichtiger ist des Wissens um die sinnvollen Einzatz-Grenzen wo NN, vieles geht mit SupportVectorMaschinen oder CoreVectorMaschinen mindestens gleich gut aber stabiler und vor allem schneller
- genetische Algos für automatisierte Finden von möglichst immer besseren Varianten durch Ableitung per durch Selektion&Auslese bewerteter sich aus zufälliger Kombination von vorherigen TeilVarianten plus etwas zufälliger neuer VarianantenTeil(Mutation)... jo das funktioniert von PersonalEinsatzplanzng über Stundenpläne, bis zur Steuerung Materialzuschnitt/Materialabfüllung
- in BigData und im Finanzbereich findet man kaum noch reine NN Anwendungen, zu klein der schmale Grat zwischen guten Ergebnissen und guter Langzeitstabilität, zu groß die parmanente Gefahr der Überopimierung

Deine Frage hat schonmal jemand sowas programmiert ist halt sehr allgemein... eventuell solltest du etwas genauer werden in welche Richtung dein Interesse mit welcher Zielstellung da geht.

Letztendlich basiert im Finanzbereich unsere Software "nur" auf der geschickten Kombination von festen Regelwerken und eben solchen selbstanpassenden Zeug, um möglichst schnell aus Ist,Soll und History eine möglichst gute Klassifizierung der aktuellen Situation bis zur automatisierten Kurzzeit-Prognose zu errechnen. Genauer kann ich da allgemein kaum mehr zu sagen
Wir machen soweit möglich alles in Delphi, setzen aber auch teil etwas C/C++ "Fremd"Source per DLL ein

[Mavarik]

Zitat von mensch72:

Deine Frage hat schonmal jemand sowas programmiert ist halt sehr allgemein... eventuell solltest du etwas genauer werden in welche Richtung dein Interesse mit welcher Zielstellung da geht.

Ich war einfach nur verwundert, dass diese Thema alle bisherigen Themen getoppt hat. Daher meine Vermutung, dass entweder sich viele damit beschäftigen oder sich gerne mehr damit beschäftigen / einarbeiten würden.

Daher meine Frage...

[ConstantGardener]

....ich hatte deinen BlogPost auch gelesen. Das Thema ist schon spannend und wird immer interessanter. Im Bereich Genetische Algo's habe ich auch schon einiges gemacht (Optimierung von Flächenbelegungen bei gleichzeitiger Gewinnmaximierung und Einhaltung der Arbeitskapazitäten usw.).
Die Herausforderung ist hier halt immer das richtige Verfahren für den Anwendungszweck zu wählen.

Du hattest ja geschrieben, dass du das ins FDK bringen willst. Die Frage ist natürlich immer wie allgemein man das umsetzen kann und dann noch performant ist.
Es gibt bei MitovSoftware und RiverSoft schon fertige Compos. Hast du damit schon mal experimentiert?

cu cg

[jus]

Ist zwar schon eine Weile her, aber hatte damals meine Diplomarbeit über ganzzahlige Optimierung bei Aktien unter anderen mit genetischen Algorithmen geschrieben. Den genetischen Algoritmus hatte ich mit Delphi implementiert. Ich schließe mich auch der Meinung an, dass es immer auf die Anwendung darauf ankommt, welches Tool man einsetzt. Aber vermutlich muß man aber zuerst das Tool gut verstehen, damit man weiß für was man es sinnvoll einsetzen kann.

lg,
jus

[Michael II]

Von microsoft ist da einiges in der Pipeline:

In diesem Zusammenhang fand ich den Windows Developer Day (März 2018) sehr spannend. Für die Berechnungen kann man neben der CPU, offenbar auch GPU und VPU nutzen.

Ich hoffe, dass man diese Dinge bald von Delphi aus ansprechen kann. Hat da jemand bereits Erfahrungen gesammelt?

Es wäre es sicher interessant, einmal mit einem Delphipraxis Team bei einem Wettbewerb von kaggle mitzumachen.

[KodeZwerg]

Zitat von Michael II:

.....GPU...... Hat da jemand bereits Erfahrungen gesammelt?

Mit meiner Eigenen Grafikkarte (NVIDIA) per Cuda ja, bei Alpha-Tests mit fremd Rechnern war mein Code Katastrophal, weswegen ich es nicht weiter verfolgt hatte.
Liegt allerdings schon sehr sehr viele Jahre zurück, wenn ich Glück habe finde ich noch den Code.

[Rollo62]

NN sind ja schon seit zig Jahren bekannt, habe mich aktuell nicht damit beschäftigt.
Interessant wäre die Frage was sie da von damals zu heute so Alles geändert hat,
bis auf Tiefe der Hiddenlayer und generell mehr Neuronen und Rechenleistung ?

Es gibt ja glaube ich ganz neue Ansätze wie man Neuronen simulieren sollte aus der Medizin.
Interessant ist halt immer was Google & Co. so machen, die sind ja ganz weit vorne.
Ist ein simples Standard NN von vor 20 Jahren noch zeitgemäß ?

Wichtig wäre mir auch das es in der GPU läuft, um damit z.B. Echtzeit Objekterkennung ala
Yolo-Algorithmus hinbekommt.

Das Thema ist sehr interessant und wird wohl noch interessanter werden demnächst.
Da ist es gut mal auf dem Laufenden zu bleiben.

Rollo

[stahli]

Ich hatte mir mal einige Videos zu dem Thema zusammengesucht.
Das hier fand ich eine ganz spannende Demo-Anwendung. https://www.youtube.com/playlist?lis...pWVBmS_BCN_T7-

Für das intelligente Verhalten von Objekten sind NN aber vermutlich nicht der richtige Ansatz. Ich habe aber dazu nichts weiter gefunden.
Gab es da nicht mal ein Projekt mit einer Lock, die in einer Umwelt überleben musste und sich entsprechend nach und nach angepasst hat?

[Mavarik]

Zitat von ConstantGardener:

Du hattest ja geschrieben, dass du das ins FDK bringen willst. Die Frage ist natürlich immer wie allgemein man das umsetzen kann und dann noch performant ist.
Es gibt bei MitovSoftware und RiverSoft schon fertige Compos. Hast du damit schon mal experimentiert?

Ich habe mir keine anderen Komponenten angesehen, nur mal eine für Zeichenerkennung mit Delphi 6.

Es gibt sicherlich auch hunderte Komponten/API's oder was auch immer die viel besser sind...

Aber ich hab es gerne einfach, daher habe ich auch einen Wrapper für JSON und REST Service geschrieben und so ein Request/Datenverarbeitung in einer Zeile zu erledigen...

Daher auch hier ganz einfach und wenn man es selber mal getippt hat - versteht man es auch besser.

Delphi-Quellcode:

  ICanNeuralNet = Interface
    ['{5BDC1430-6823-4667-8DBC-C80E6363A208}']
    Procedure FeedForward(Const AInputValues : TNetValueList);
    Procedure BackProp(Const ATargetValues : TNetValueList);
    Function  GetResults : TNetValueList;
    Procedure SaveToStream(S : TStream);
    Procedure LoadFromStream(S : TStream);
    Function  AverageError : double;
    Function  CrossOver(AOtherParent : ICanNeuralNet) : ICanNeuralNet;
    Function  Mutate(APercentRate,AWeightChange : Double) : ICanNeuralNet;
    Function  LayerData : TNetLayer;
  end;

Dann Einfach...

Delphi-Quellcode:

Var
  myNet : ICanNeuralNet;
begin
  myNet := TNeuralNet.Construct([9,10,10,2]); // Input,hidden,hidden,output
end;

CrossOver und Mutate hab ich auch implementiert... (Wie ist halt momentan noch fixed)

Aber für das "normale" Lernen geht es halt auch und zwar so (wie im Video) XOR Gatter!

Delphi-Quellcode:

  
FNet := TNeuralNet.Construct([2,4,1]);

  for i:=0 to 10000 do
    begin
      FNet.FeedForward([0.0,0.0]);
      FNet.BackProp([0]);
      FNet.FeedForward([1.0,1.0]);
      FNet.BackProp([0]);
      FNet.FeedForward([0.0,1.0]);
      FNet.BackProp([1]);
      FNet.FeedForward([1.0,0.0]);
      FNet.BackProp([1]);
      FNet.FeedForward([0.0,0.0]);
      if korrect then
        begin
          Memo1.Lines.Add(I.ToString+' need');
          Memo1.Lines.Add('Error : '+FNet.AverageError.tostring);
          break;
        end;
    end;

Fertig läuft...

Das war eigentlich auch nur mal so für "zwischen durch" um mal den Kopf frei zu bekommen...

Mavarik

[ConstantGardener]

@Mavarik: Was machst du mit dem CrossOver und Mutate in einem Neuronalen Netz? Willst du die Struktur automatisch über einen GA generieren lassen? Das wäre natürlich cool, und würde den Kopf frei machen!