KI in eigene Anwendung integrieren

[Gruber_Hans_12345]

Hallo in die Runde

Eine Frage, wer hat sich schon mal beschäftigt diverses KI in die eigene Anwendung zu integrieren?

Mir geht es im Moment noch nicht um einen Code (außer es gibt da schon was)
Von welcher Stelle habt ihr die Infos zusammenbekommen, wie würde sowas theoretisch funktionieren, was Könnte man da so theoretisch machen und welche Anbieter würden sich da am besten eignen.

Bisher habe ich mit KI hauptsächlich nur mit Photoshop und co zu tun.
Vor kurzem habe ich dann gesehen das ein Anwendung die KI für die Hilfe integriert hat, das war eigentlich auch schon ein nettes Feature.

Wäre über alle Tipps/Tricks und Infos dankbar :D

[Gausi]

Ernstgemeinte Frage: Wozu?

Wenn du einen Anwendungsfall hast, bei dem du ein spezifisches Problem hast, dass ggf. mit Hilfe von KI gelöst werden kann, dann kann man sich darüber unterhalten, wie man das eine oder andere spezifische KI-Produkt in der eigenen Anwendung einbetten kann, oder wie man eine Schnittstelle dazu schaffen kann.

So klingt die Frage erstmal genauso allgemein (und nichtssagend) wie "Hat schonmal jemand Algorithmen in die eigene Anwendung integriert?". Einfach nur "KI" zu benutzen, damit man "KI" im Programm hat, halte ich für sinnfrei.

Im Zweifel einfach dranschreiben, dass KI drin steckt, auch wenn man nur eine einfache (aber irgendwie "intelligente") Suchfunktion eingebaut hat. :stupid:

[Der schöne Günther]

Zitat:

Einfach nur "KI" zu benutzen, damit man "KI" im Programm hat, halte ich für sinnfrei.

Sag das mal dem Marketing...
Anhang 56963

[Gruber_Hans_12345]

Ja ist ein schwieriges Thema, ich bin auch eher der Verfechter das es ohne KI auch alles geht und man es gut programmieren kann - und wenn ich dann so Texte lese die mit KI gemacht sind - da gibt es halt auch sehr viele die so primitiv sind - da kommt mir oft das grausen (Sohnemann, hat zB Bewerbungen mit Hilfe von KI geschrieben - das war schlimm)

ABER Fakt ist, das der Ruf nach KI halt oft da ist genau wie Günther schreibt gerade vom Marketing, oder die Firmen X Y und Z verwenden KI warum wir nicht.

Dann Frage ich mich ob man nicht mal mit irgendwas bezüglich KI starten sollte.

Und wie gesagt die Hilfe mit KI Unterstützung war keine intelligente Suchfunktion, sondern das war definitiv irgendwas von ChatGPT und co das in der eigenen Hilfe dann gesucht hat.

[Phoenix]

Zitat:

Zitat von Gruber_Hans_12345 (Beitrag 1538236)

Eine Frage, wer hat sich schon mal beschäftigt diverses KI in die eigene Anwendung zu integrieren?

Mir geht es im Moment noch nicht um einen Code (außer es gibt da schon was)
Von welcher Stelle habt ihr die Infos zusammenbekommen, wie würde sowas theoretisch funktionieren, was Könnte man da so theoretisch machen und welche Anbieter würden sich da am besten eignen.

Ich bin in genau dem Thema seit knapp anderthalb Jahren schon beratend und durchführend in mehreren Kundenprojekten tätig.
Mein Fokus liegt dabei allerdings ausschliesslich auf Generativer AI (also primär Large Language Models, jetzt kommen schon auch erste Small Language Models und Multimodal Models dazu).

Im Grunde geht es hier um zwei Hauptbereiche. Das erste ist RAG (Retrieval Augmented Generation), also intelligente/Semantische Suche mit anschliessender Generierung einer Antwort. Wird auch oft als Chat-with-your-data angepriesen.
Zu dem Thema habe ich schon ein paar Vorträge gehalten, einen davon kannst Du hier anschauen: https://www.youtube.com/watch?v=wX_WJ9YeYLg

Das andere Thema ist (aus meiner Sicht) spannender. Hier geht es um Automatisierung, und zwar speziell im Bereich UI/UX.
Auch das involviert (wenn man es sinnvoll angeht) Embeddings, um semantische Bedeutung in den Funktionen der eigentlichen Anwendung und der Anfrage des Benutzers zu finden und zueinander zu bringen, und das dann durch die Macht von LLMs, nämlich menschliche Sprache zu verstehen und Sinn daraus zu machen, in wirkliche Integrationen zu verwandeln. Ein LLM zu verwenden ist dabei in aller Regel nur ein HTTP-API-Aufruf, also sehr simpel mit Hausmitteln zu machen.

Ein Use-case wäre, Anwendung startet. Der Benutzer spricht (im besten Falle, schlechter er tippt) seinen Wunsch ein, was er machen möchte (z.B. "Ich möchte einen neuen Benutzer anlegen. Benutzername soll sebgi sein, voller Name Sebastian Gingter mit der Email [e-mail], er soll die Rollen Hundeführer und Rettungshundestaffel bekommen. Die Adresse ist in Hausach, PLZ weiss ich grad nicht, und zwar der Priemelweg 123b."). Dazu haben wir natürlichsprachige Ergänzungen an allen Formularen der Anwendung, und finden mittels Embeddings raus, welche Sprachlich / inhaltlich am besten zu der Anfrage passen. Diese Forms rufen wir im Hindergrund unsichtbar ab und fragen diese nach der Datenstruktur, die hinter den eigentlichen Forms liegen (also z.B. die Datestruktur für Benutzer) ab Diese Kombi schicken wir an ein LLM, und das Antwortet uns im besten Falle mit "Navigiere auf die Seite Benutzer anlegen (oder bearbeiten im Neuanlage Modus) und befülle das Formular auf der Seite mit folgenden Daten: {JSON-Struktur mit den Informationen aus dem Text}. Wir nehmen die Antwort, navigieren dorthin, befüllen die Daten aus dem JSON und der Benutzer muss nur noch kontrollieren und absenden.

Das funktioniert überraschend gut, die Postleitzahl "errät" ein gescheit trainiertes Model in weit über 90% korrekt. Und ja, auch in Städten wo die Strasse ausschlaggebend für die PLZ ist. Auch bei Namen aus anderen Kulturen erkennt ein Model normalerweise sehr sehr zuverällig was denn jetzt der Vor- und was der Nachname ist und sortiert das entsprechend ein.

Ich habe für die EKON mal Session-Vorschläge eingereicht, ich weiss aber nicht ob die angenommen werden, da könnte man mich sonst entsprechend mal auf dem Flur abfangen und direkt ausquetschen. Ansonsten bin ich kommenden Mo.-Mi. auf der DWX in Nürnberg, auch mit den Themen zugange.

[Mavarik]

Mal abgesehen vom Nutzen...

Ich denke wir müssen unterscheiden zwischen ChatGPT like KI und ich hab ein NN mit 100 Nodes in 2 Layer.

Also professionell gegen "hausgemacht" oder kostenlos gegen egal was es kostet.

Ich hätte gerne ein LLM mit meinen Hilfe-Dateien erzeugt, damit meine Kunden meinem Hilfe-System fragen stellen können.

Ich habe vor einigen Jahren eine NN Unit programmiert.
Mein kleines Netzwerk kann kleine Aufgaben erledigen, aber wenn es um mehr geht, muss es wenigstens auf der GPU laufen. Daher habe ich letzte Woche
ein Compute-Shade-Interface erstellt (ChatGPT hat dabei geholfen). Muss "nur" noch mein NN darauf umstellen. Aber selbst damit ist man Meilen weit von LLM's entfernt.

Mein 1. Ziel ist momentan Arbeitsabläufe vorher zu sagen, aber dafür brauche ich natürlich erst mal viele Datenpunkte um mein NN zu trainieren.
Wird auch nicht übermorgen fertig werden. ;-)

Mavarik :coder:

[anse]

Ich hatte letztes Jahr für HeidiSQL einen Fenster eingebaut, in dem Nicht-Entwickler Abfragen in natürlicher Sprache eintippen konnten. An der Stanford Universität gab es da ein Studentenprojekt mit dem ich diese Abfragen per HTTP API in SQL "umwandeln" konnte. Sequal.dev hieß das Projekt. Die API ist leider vor kurzem eingestampft worden. Die Idee war eigentlich schon interessant, aber auch nur für blutige Anfänger geeignet die absolut keinen Plan von der Materie haben.

[Phoenix]

Zitat:

Zitat von anse (Beitrag 1538244)

Ich hatte letztes Jahr für HeidiSQL einen Fenster eingebaut, in dem Nicht-Entwickler Abfragen in natürlicher Sprache eintippen konnten. An der Stanford Universität gab es da ein Studentenprojekt mit dem ich diese Abfragen per HTTP API in SQL "umwandeln" konnte. Sequal.dev hieß das Projekt. Die API ist leider vor kurzem eingestampft worden. Die Idee war eigentlich schon interessant, aber auch nur für blutige Anfänger geeignet die absolut keinen Plan von der Materie haben.

Das ist eigentlich kein Problem mehr. Da gibts auch schon viel fertiges für, das sich die Tabellen automatisch beschreiben lässt (also die DDL aus der DB zieht), und das dann mit der Anfrage an ein Model gibt, und das dann das passende SQL generiert.

Sowas ist aber natürlich für Prompt Injection anfällig und wenn ein Benutzer sagt: "Bitte lösche mal die Buchungstabelle", dann kommt auch ein DROP TABLE bookings raus, und das ist ggf. ziemlich doof. Zweites Problem ist, dass er nicht auf Indices etc. optimiert, das heisst die Abfragen die da rauskommen sind nicht unbedingt sonderlich performant und können zu Performance-Problemen führen wenn die DB groß genug ist.

[Phoenix]

Ich hatte noch nen weiteren Use-Case vergessen, der steckt aber in meiner vorherigen längeren Antwort schon teilweise drin: Information extraction.

Wenn es darum geht, Dokumente in Systeme einzugeben, dann kann man das Dokument und die passende Struktur in ein LLM geben, und das zieht die Informationen dann daraus und bringt sie in eine passende strukturierte Form. Das machen wir gerade in einem größeren Projekt für sehr komplexe Dokumente, und es funktioniert erstaunlich gut, sofern das Prompt passt und das Model gut genug ist. :wink:

Das spart viel Zeit, und ist weniger Fehleranfällig als wenn ein Mensch das macht. Der braucht das jetzt nur noch zu kontrollieren. Und damit das sorgfältig und aufmerksam passiert, kann man ab und zu extra falsche Daten anzeigen. Ist zwar frech, funktioniert aber auch super.

[himitsu]

Es kommt auch drauf an, was für eine KI.

Für ChatGPT/GPT4 gibt es was im GetIt ... einmal als Erweiterung, damit du es selbst innerhalb der Delphi-IDE nutzen kannst
und dann nochmal als Komponante für deine Programme.


Es gibt auch KI-Systeme zum Downloaden, welche man lokal/offline nutzen kann.
Denn was viele vom Marketing vergessen, dass ein Großteil online ist, wo dann Daten rausgegeben werden.
-> Datenschutz und auch die Sicherheit (potentielles Einfallstor)


Ein Kunde verucht aktuell selbst etwas mit KI zu machen.
Dort schaut sich die KI Konstruktionspläne seiner (Neu)Kunden an und versucht zu schätzen, wie groß Aufwand/Auftragszeit/... sein könnte, anhand bisheriger Aufträge, auch um gleich zu Beginn eventuelle Kosten und den Preis einschätzen zu können.

[freimatz]

Zitat:

Zitat von Der schöne Günther (Beitrag 1538240)

Zitat:

Einfach nur "KI" zu benutzen, damit man "KI" im Programm hat, halte ich für sinnfrei.

Sag das mal dem Marketing...

"Liebes Marketing, KI ist für uns kein Problem. Das haben wir in unserer Software schon seit Jahren." :-D

[himitsu]

unKontrolliert Infantiles Verhalten?


Wir haben auch noch ausreichend natürlich Dummheit, mit der wir erstmal fertig werden müssen.

[Phoenix]

Dazu muss man auch bedenken, KI ist ein sehr weites Feld.

Im Prinzip fällt auch schon ein sehr kleines Machine-Learning Model zur Klassifikation von Äpfeln und Birnen basierend auf der Breite und Höhe der Frucht unter KI. Das kann man in ein paar Minuten selber trainieren und das funktioniert bis auf sehr runde Birnen bzw. sehr längliche Äpfel auch ziemlich gut.

Auch gängige OCR-Models (Texterkennung in Bildern) sind KI, haben aber mit generativer KI auch nicht viel am Hut.

Die Frage ist also auch eher, was man genau machen will. Je nachdem braucht man dann eher "klassische" ML-Modelle für genau diese Aufgabe, die müsste man meist selber trainieren oder basierend auf einem passenden Basismodell selber fine-tunen (das ist dann aber eher Aufgabe für Data Scientists, vor allem das selber trainieren braucht viele Datensätze, und viele sind nicht "nur ein paar Zehntausend", und beim Fine-Tunen sollte man auch mindestens mit einigen Tausenden loslegen), oder man ist eben eventuell im Bereich Generativer KI (LLMs/SLMs) und versucht, sich das Sprachverständnis der Modell zu Nutze zu machen.

[TigerLilly]

Zitat:

Zitat von Phoenix (Beitrag 1538263)

die müsste man meist selber trainieren

Das ist der Punkt. KI ist cool, KI kann viel, aber alles nur, wenn sie mit den passenden Daten passend trainiert wird. Das vergessen viele. himtsu bringt das Beispiel mit der Schätzung des Aufwands aus den Konstruktionsplänen. Ist natürlich cool + für KI ein Modellanwendungsfall. Aber für das Training der KI müssen die Pläne aufbereitet werden + mit bestehenden Schätzungen versehen werden. Das Training ist nicht trivial.

[himitsu]

Die sind schon länger an der Sache dran.
Und sie wissen natürlich, dass es dann nur ein unverbindlicher Vorschlag wird, der nicht unbedingt stimmen muß.
Grob gesehn, sollen Anzahl und Komplexität von Einzelteilen eingestuft/geschätzt werden, sowie die verwendeten Materialien und dann im Vergleich zu alten Projekten mit deren Kosten und Aufwand hochgerechnet werden.
Es soll einfach nur bei der Planung und Priorisierung der Aufträge unterstützen.



https://www.delphipraxis.net/215177-...r-chatbot.html

https://www.musikwoche.de/recorded-p...806126e1d1221f
https://www.fazemag.de/universal-son...en-ki-dienste/
...


Es gibt ja viele Fälle, wo KI anfänglich super aussah, aber dann das Gegenteil brachte.
Sowas sollte man dabei also auch mit beachten und regelmäßig mal prüfen.

* Eine KI sollte Bewerbungen vorsortieren und dass vollkommen ohne Vorurteile (wie bei den menschlichen Personalern)
- Sie wurde aber mit alten Bewerbungen und alten/aktuellen arbeitsverträgen gefüttert, wo weiße Männer bevorzugt wurden,
- drum sortierte die Frauen vorzusweise aus, sowie Ausländer oder Männer, wo z.B. der Name weiblich klang, oder die ein "typisch weibliches" Hobby hatten.

* eine KI bei einem Gebrauchtwagenhändler sollte Autos einstufen
- Statt gut/teuer und schlecht/billig, kategorisierte sie das Wetter auf den Fotos, sowie den Verschmutzungsgrad der Autos
- teure Luxusschlitten waren meist "schön" fotografiert, bei strahlendem Sonnenschein, und Schrottkarren halt ..... nja

* Oder die Firscherkunngs-KI erkannte viele der Fische nicht wirklich, sondern die Finger der Angler, wie sie den fisch hielten

* ...

[TigerLilly]

Passend vielleicht:
https://www.clickworker.de/kunden-bl...-datensaetzen/

[Gruber_Hans_12345]

Ok mal danke an alle - ist ja mal eine richtig richtig gute Infoquelle geworden :D

@Phoenix Vielen Dank für das Video war wirklich sehr sehr gut, und hat schon mal vieles an Fragen geklärt.
Was mich aber wie du auch selber geschrieben hast auch viel mehr interessieren würde wäre der Case mit der Automatisierung der UI - gibt es dazu auch wo ein Video (darf auch hinter einer Bezahlschranke sein wäre kein Problem)

Für meinen Fall würde ich eher professionelle System bevorzugen - zumindest zu einen Teil falls mal etwas auch selber auf den eigenen Servern laufen lassen kann dann das bevorzugt - aber es muss nicht alles in der eigenen App laufen und darf auch etwas kosten (solange es sich halt in Grenzen hält)

[TigerLilly]

Ergänzend zu himtsus Liste + zum Nachlesen, weil das ein Musterbeispiel für die Probleme beim Einsatz von KI war:

https://www.derstandard.at/story/300...falsch-gemacht
https://netzpolitik.org/2024/diskrim...em-ki-chatbot/

[Phoenix]

Zitat:

Zitat von Gruber_Hans_12345 (Beitrag 1538290)

Was mich aber wie du auch selber geschrieben hast auch viel mehr interessieren würde wäre der Case mit der Automatisierung der UI - gibt es dazu auch wo ein Video (darf auch hinter einer Bezahlschranke sein wäre kein Problem)

Mein Kollege Christian hat das mal Webbasiert mit Angular Frontends in einem Webinar gezeigt:
https://www.thinktecture.com/webinar...t-form-filler/

Meine Demo mit ASP.NET Core Blazor gibts aktuell noch nicht öffentlich.

Zitat:

Zitat von Gruber_Hans_12345 (Beitrag 1538290)

Für meinen Fall würde ich eher professionelle System bevorzugen - zumindest zu einen Teil falls mal etwas auch selber auf den eigenen Servern laufen lassen kann dann das bevorzugt - aber es muss nicht alles in der eigenen App laufen und darf auch etwas kosten (solange es sich halt in Grenzen hält)

Das ist eher schwierig. Zumindest noch Stand heute. Das Thema bewegt sich gerade so dermaßen schnell, das es täglich so viele neue Papers und Releases gibt, das man da nahezu nicht mehr mit Schritt halten kann. Aber eben Stand heute braucht es für wirklich Sinnvoll funktionierende Integrationen noch das Sprachverständnis von mindestens GPT-3.5, eher GPT-4 (OpenAI), Mistral-Large oder Anthropics Claude-Sonnet 3.5.
Kleinere Modelle die lokal laufen können wie z.B. Phi-3 von Microsoft sind aktuell noch zu unzuverlässig. Bessere Modelle wie ein Mixtral 8x22b sind lokal entweder zu langsam (2-3 Tokens pro Sekunde, wenn sie überhaupt auf normaler Hardware starten, da kannst Du für nen halben Satz locker nen Kaffee holen gehen) oder brauchen eben mehrere NVidia A100 (da kostet eine schon 6-7 tausend).
Und diese Models können noch nicht vernünftig Function- oder Tool-Calling - und das braucht es für sinnvolle Integrationsszenarien.

Das wird im Laufe der Zeit ganz sicher lokal auf preislich noch vernünftiger Hardware mit sinnvoller Performance und auch entsprechend gut funktionierenden Modellen möglich werden, aber ob die Open-Source Model Qualität, das nötige Feintuning, die passende Quantisierung und die Optimierung der Inferenz in 2-3 Monaten oder 2-3 Jahren diesen Stand erreichen werden ist heute noch nicht vorhersagbar.

Aktuell wird man solche Integrationen also nur mit großen Models die man als Service mieten kann erreichen können.
Der einfachste Weg das Datenschutzkonform hinzubekommen ist aktuell Azure OpenAI Service bei dem man die OpenAI GPT-Models in einem Europäischen Datencenter, mit den Azure Datenverarbeitungsverträgen abgesichert, verwenden kann, ohne in irgendwelche Probleme zu laufen. Bei AWS geht das ggf. mit Bedrock, aber da kenne ich mich nicht genug mit aus.

[Rollo62]

Ich beschäftige mich nun auch seit geraumer Zeit mit LLMs, und sehe aktuell ChatGPT 4o als den Referenzstandard.
Wenn ich die Erwartungen der Nutzer sehe, dass die KI quasi "menschähnlich", aber definitiv immer 150% richtig agieren MUSS, dann denke ich mit nur das dies vielleicht etwas überhöhte Erwartungen sind.

Ich mache viele Experimente mit verschiedensten KI, lokal und online, aber mein Favorit ist und bleibt ChatGPT.

Mit dessen Hausmitteln und etwas kleverer Vorbereitung beim Prompting kann man wirklich unfassbar exakte und reproduzierbare Ergebnisse erzielen.
Das Problem ist meiner Meinung nach da, wo die Leute eine eierlegende Wollmilchsau erwarten, das tue ich nicht.

Ich habe mir zum Beispiel KI-Assistenten für viele kleine Teilprobleme gebaut, wo die Aufgaben viel Zeit in Anspruch nehmen und immer wiederkehren, z.B. Umformatierungen von Strukturen / Datensätzen, Konvertierungen, Übersetzungen, Verifikationen und Auswertungen, usw.
Dabei kommen mit ChatGPT sehr effektive Custom-KI-Assistenten für spezifische Aufgaben heraus,
die ich quasi blind sehr zuverlässig nutzen kann.

Aktuell sehe ich KI eher für solche, kleinteiligeren Aufgaben machbar, die man klar definieren und abgrenzen kann,
statt die KI auf völlig unbekanntes Terrain zu schicken.
Das muss ja schiefgehen, das wäre als fragt man die Reinigungshilfe ob sie auch mal eben die SPS-Steurung anpassen kann.

Ich nutze da noch nicht wirklich die API-Schnittstellen, sondern meistens noch Copy&Paste in ChatGPT, aus verschiedenen Gründen, zumal es dafür noch keine API gibt und man sich selbst um die Sessions kümmern muss.
Dennoch ist selbst das immer noch 100x effizienter und 100x schneller, als wenn man diese Arbeiten von Hand oder sonstwie machen müsste.

Die Ergebnisse verifiziere ich ständig, aber ich kann sagen dass die mittlerweile nahezu 100% perfekt sind,
kommt natürlich immer auf die Komplexität an.
Aber alles was mit Textpattern, Textmustern, Strukturen in Texten zu tun hat, das kann GPT aus dem EffEff, ohne Training.

Vielleicht muss man mit KI einfach auch mal kleinere, bescheidenere Brötchen backen, das wäre mein Ansatz dazu.
Das ist womöglich erst noch der kleine hilfreiche Kobold, der heimlich unsere ungeliebten Aufgaben erledigt, und nicht direkt die superintelligente AGI.
Denn wo der HAL9000, der WOPR aus WarGames, das MCP aus TRON, uva. hinführen können, das wissen wir ja alle :-D

[hanvas]

Zitat:

Zitat von himitsu (Beitrag 1538268)

* Oder die Firscherkunngs-KI erkannte viele der Fische nicht wirklich, sondern die Finger der Angler, wie sie den fisch hielten

Das waren aber nicht die Jungs von Refine [1]. Deren System funktionierte bei Fischen und bei Batterien recht gut, wenn auch nicht gut genug. Heute gibt es sie allerdings nicht mehr. Deren OBS 200 bzw. OBS 600 funktionierte technisch eigentlich recht gut, hat aber in der Praxis doch einige Nachteile gehabt und war nicht wirklich intelligent.

Wir wollten mal was ähnliches machen und haben uns das, soweit möglich auch patentieren lassen [2].

Herzstück war dabei eigentlich ein Stück Software welches aufgrund eines während des Sortierens aufgenommenen Bildes erkennen die Batteriechemie erkennen sollten. Also im wesentlichen die Unterscheidung zwischen Zink-Kohle, Alkali-Mangang, LiIon, NiCD, NiMH. Dazu haben wir uns zunächst einen Scanner aus Fischertechnik gebastelt [3][5], mit diesem gleichzeitig flache Bilder von einzelnen Batterien aufgenommen [4]. Das war die Grundlage für unser Trainingsmaterial.

Da es sich bei einer Batterie ja nur um einen zylindrischen Körper handelt, war es relativ einfach das so gewonnene flache Bild als Textur für eine künstliche Batterie zu verwenden, so wurden (dank Delphi und DelphiGL) aus einem flachen Bild, viele Bilder einer Batterie in unterschiedlichen Winkeln und Beleuchtungen. Das war unser (erstes) Trainingsmaterial.

Nach vielen Versuchen, unterschiedlichen Netzarchitekturen und einer Testmaschine haben wir zunächst eine Trefferquote von gut 65 % gehabt. Anschließend haben wir handverlesene Bilder mit den sortierten Batterien (also dem Ausgang unserer Maschine) dem Trainingsmaterial beigemixt. [6]

Nach etwa einem Jahr haben wir bei einem Durchgang haben wir eine Trefferquote von max. 72 % erreicht, wurde bei einem zweiten Durchgang die nicht erkannten Batterien nochmal klassifziert, dann konnten wir rund 79 % aller Batterien automatisch nach ihrer Chemie sortieren.

[1] https://www.youtube.com/watch?v=kp1TEkf_kyE
[2] https://www.freepatentsonline.com/DE102018116905A1.html
nachdem wir aber 2022 unsere Firma verkauft haben und uns dadurch der Marktzugang fehlt haben wir das Patent nicht weiter vervolgt bzw. auslaufen lassen.

[3] IMG_20240627_190045
[4] inp015.jpg

[5] Die Walzen unten drehen sich und dadurch dreht sich auch die Batterie. Oben sitzt eine ganz normale USB Camera, von der aber nur eine einzige Zeile je Bild (die oberste) verwendet wird. Die Umlaufzeit für eine vollständige Drehung ist vom Durchmesser der Batterie abhängig. Nach einem Durchlauf hat man - durch aneinanderfügen der einzelnen Zeilen, eine vollständig und an allen Stellen gleich ausgeleuchtetes, ausgerolltes Bild einer Batterie. Das haben wir für die damals ca. 4500 auf dem Markt erhältichen Batterien (mit gebrauchten Batterien) gemacht. Die Software zur Steuerung unseres Fischertechnik Scanners habe ich mit Delphi gemacht.

[6] l2015.jpg

Das Bild ist im laufenden Betrieb entstanden. Die Röhren und damit die Batterien vibrieren mit einer Frequenz von ca. 40 Hz.

[Phoenix]

Zitat:

Zitat von Rollo62 (Beitrag 1538317)

Ich beschäftige mich nun auch seit geraumer Zeit mit LLMs, und sehe aktuell ChatGPT 4o als den Referenzstandard.

Schau Dir mal Anthropics Claude 3.5 Sonnet an. Auch sehr, sehr beeindruckend.

Und ja, kleinere Tasks funktionieren super, größere manchmal unzuverlässiger.
Aber ein Model kann ja auch aus einem großeren mehrere kleinere Machen, und die dann isoliert selber oder durch ein anderes Model bearbeiten lassen, die Teil-Ergebnisse wieder zusammenfassen, ggf. nochmal ein anderes Model drüber gucken lassen.

Oder die Teilaufgaben die nicht so ganz zuverlässig klappen lässt man 3 mal machen und kann dann mit einem anderen Prompt entweder das beste Ergebnis rauspicken oder aus den zwei besseren ein noch besseres zusammen fassen.

Da kommen wir dann in den Bereich der Agentensysteme, die mit unterschiedlichen Personas (im Prinzip der Prompt der dem Model sagt, wie es sich zu verhalten hat, also z.b. "Du bist ein Autor" oder "Du bist ein Lektor") zusammen an einem Problem arbeiten und sich gegenseitig challengen, verbessern und gemeinsam zu einem richtig, richtig guten Ergebnis kommen.

Nichts desto Trotz: Konkretes Beispiel E-Mails eines Online-Versandhandels abarbeiten. Die bekommen übers Wochenende zig Support E-Mails, viele sind automatisierte Stornos von z.B. Amazon und Ebay, aber auch einige Handgeschriebene "Brauch ich nicht mehr" Mails wenn das über den eigenen Shop ging - und das ganze unter hunderten "Falscher Artikel", "Kam defekt an", "War doch die falsche Farbe" etc. Mails. Aufgabe: Dort am Sonntag Abend die Stornos raussuchen und die Bestellung zumindest mal blockieren, so dass sie nicht am Montag Vormittag raus geht wenn der Support noch die Mails von Freitag Abend abarbeitet und noch gar nicht bei den Stornos von Sonntag Abend angekommen ist. Das zu automatisieren war eine konkrete Aufgabe. Für die immer gleich aussehenden Mails von Amazon und Ebay nimmt man dann aber besser doch eine Regex und kein LLM - ist billiger, schneller und zuverlässiger. Also nur weil man ein Model hat, ist es noch lange nicht die Lösung für alle Probleme.

Aber was gut funktioniert ist dann z.B. bei "Wo bleibt meine Sendung?"-Mails dann dem Model APIs als Tools zu geben die die Order finden und die Trackingnumber und den Versanddienstleister rausgeben, und dann auch Tools um den Status der Trackingnummer bei den Dienstleistern abzufragen, und aus diesem Ergebnis dann schon eine Antwortmail vorzuformulieren. Dann muss nur noch ein Mitarbeiter drüber gucken und absenden. Spart ziemlich viel Recherche-Zeit dort.

[Mavarik]

Zitat:

Zitat von Rollo62 (Beitrag 1538317)

Ich mache viele Experimente mit verschiedensten KI, lokal und online, aber mein Favorit ist und bleibt ChatGPT.

Hast Du ein praktisches "Hello World" für ein lokales LLM (Mit Delphi)

In Holland gab es dazu einen Vortrag, aber was nicht so klar wurde war, welche vor trainierte LLM man für was
runter laden muss.

Mavarik

[Phoenix]

Zitat:

Zitat von Mavarik (Beitrag 1538331)

Hast Du ein praktisches "Hello World" für ein lokales LLM (Mit Delphi)

Wie gesagt, lokale LLMs sind (aktuell) bei weitem nicht so intelligent wie gehostete.

Dennoch: Mit Ollama (https://ollama.com/) kannst Du viele LLMs lokal betreiben:

Phi3 in einer passenden Quantisierung die nicht zu langsam ist geht z.B. so:

Code:

ollama run phi3:3.8b-mini-instruct-4k-fp16

Dann kannst Du schonmal auf der Kommandozeile mit dem Model chatten.
Ollama hat auch eine web-api, die Du von anderen Programmen aus ansprechen kannst.

Dazu habe ich ein Delphi-UI gefunden: https://github.com/HuichanKIM/Ollama-Delphi-GUI
Da ich aber schon ewig kein Delphi mehr mache, kann ich Dir dazu nicht sagen, wie gut das wirklich ist.

Edit / Ergänzung:

Wenn ich das o.a. Phi3 mit folgender Frage befeuere:

Code:

(Invoke-WebRequest -method POST -Body '{"model":"phi3:3.8b-mini-instruct-4k-fp16", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

erhalte ich folgende Antwort:

Code:

model                : phi3:3.8b-mini-instruct-4k-fp16
created_at           : 28.06.2024 06:49:41
response             :  The sky appears blue to us because of a phenomenon called Rayleigh scattering. Sunlight, which
                       contains all colors of light in its spectrum, travels through Earth's atmosphere and interacts
                       with molecules and small particles present there.

                       When sunlight reaches our atmosphere, it encounters tiny air molecules (like nitrogen and
                       oxygen) and other aerosols suspended in the air. These particles scatter short-wavelength
                       light, like blue and violet colors, more than they do long-wavelength light, such as red or
                       yellow.

                       However, our eyes are more sensitive to blue light (around 475 nanometers) compared to violet
                       light (which is shorter wavelength). Also, the Earth's atmosphere absorbs some of the sunlight
                       in the ultraviolet and near-ultraviolet region, which means there's less scattering for these
                       colors.

                       As a result, when we look up at the sky away from direct sources of light like the Sun, we
                       perceive it as blue due to the dominance of scattered blue light in all directions. When
                       sunlight passes through the Earth's atmosphere during dawn and dusk, shorter wavelengths (blue
                       and violet) scatter more than longer wavelengths (red and orange). This is why the sky appears
                       redder at these times.

                       It's also worth mentioning that under certain conditions, such as heavy pollution or volcanic
                       activity, the sky may not appear blue but take on other colors due to changes in aerosols
                       present in the atmosphere.
done                 : True
done_reason          : stop
context              : {32010, 3750, 338, 278…}
total_duration       : 265333993700
load_duration        : 4458200
prompt_eval_count    : 10
prompt_eval_duration : 5340166000
eval_count           : 340
eval_duration        : 259982060000

Für das bisschen Text braucht es knapp unter viereinhalb Minuten.
Also wie gesagt, lokal ist aktuell noch nicht wirklich geil.

[sh17]

Hier noch ein paar Repos

https://github.com/dnspsv/Gemini4Delphi
https://github.com/pyscripter/ChatLLM
https://github.com/HemulGM/ChatGPT
https://github.com/HemulGM/DelphiOpenAI
https://github.com/landgraf-dev/openai-delphi
https://github.com/Kagamma/llama-pas
https://github.com/kalliduz/AutoGPT-Delphi
https://github.com/FMXExpress/Stable...Desktop-Client

[Rollo62]

Zitat:

Zitat von Phoenix (Beitrag 1538325)

Schau Dir mal Anthropics Claude 3.5 Sonnet an. Auch sehr, sehr beeindruckend.

Ja kenne ich, hab ich aber noch nicht ganz so viel mit gemacht.
Spielt aber definitiv in der gleichen Liga, manche behaupten sogar etwas besser als ChatGPT.
Den Benchmarks traue ich aber nicht immer, da geht es oft nur um Nuancen.

Mir gefällt aber die ChatGPT Ausgabe und Formatierung viel besser, das ist bei Claude etwas unübersichtlicher,
ist aber jammern auf hohem Niveau.
Es gibt ein paar Unterschiede hier und da, aber auf jeden Fall sind die Ergebnisse ähnlich, auch Llama3 ist super,
also da muss man schon in die Details für die jeweilige Anwendung schauen.
Ich hatte den Eindruck Claude bekommt Produkt-Werbetexte besser hin (natürlicher, attraktiver) als GPT (etwas zu trocken), aber beide sind gut verwendbar.

Zitat:

Zitat von Phoenix (Beitrag 1538325)

Prompt entweder das beste Ergebnis rauspicken oder aus den zwei besseren ein noch besseres zusammen fassen.

Da kommen wir dann in den Bereich der Agentensysteme, die mit unterschiedlichen Personas (im Prinzip der Prompt der dem Model sagt, wie es sich zu verhalten hat, also z.b. "Du bist ein Autor" oder "Du bist ein Lektor") zusammen an einem Problem arbeiten und sich gegenseitig challengen, verbessern und gemeinsam zu einem richtig, richtig guten Ergebnis kommen.

Genau, Prompt-Engineering ist ein Thema für sich, damit kann man extrem viel herausholen.
Da meine ich, das viele Nutzer glauben mit einfachen, plumpen Fragen perfekte Antworten generieren zu müssen.
Das wage ich zu bezweifeln, wie man in den Wald hineinruft, so schallt es heraus.

Zitat:

Zitat von Phoenix (Beitrag 1538325)

Für die immer gleich aussehenden Mails von Amazon und Ebay nimmt man dann aber besser doch eine Regex und kein LLM - ist billiger, schneller und zuverlässiger. Also nur weil man ein Model hat, ist es noch lange nicht die Lösung für alle Probleme.

Ja, das haben wir ja alle die letzten 40 Jahre lang versucht, mit mäßigem Erfolg, siehe Cross-Sales Vorschläge o.ä.
Genau da denke ich, dass die KI ein bischen Extra-Gehirnschmalz reinbringen kann, auch wenn der RegEx mal wieder zusammenbricht, weil es gerade doch wieder etwas vom vorgesehenen Template abweicht.
Vielleicht ist eine Kombination aus beidem ideal, RegEx können die LLMs natürlich auch perfekt.

Zitat:

Zitat von Mavarik (Beitrag 1538331)

Hast Du ein praktisches "Hello World" für ein lokales LLM (Mit Delphi)

In Holland gab es dazu einen Vortrag, aber was nicht so klar wurde war, welche vor trainierte LLM man für was
runter laden muss.

Mavarik

Ich hatte auch mit Ollama experimentiert, aber man muss schon eine gute Nvidia-Karte dafür haben.
Das mit WebUI sieht am Ende genauso aus wie ChatGPT, nur das es offen ist und zig Modelle unterstützt.
Dazu überlege ich mir gerade einen Server mit GPU anzuschaffen, ist aber auch extrem teuer und hoher Verbrauch.
Die "Holland"-Lösung mit einer gehosteten GPU-Instanz hat was für sich, aber günstig ist das alles nicht.
(Deshalb bin ich momentan auch noch größtenteils bei ChatGPT).

Ein vielversprechendes Projekt wird womöglich llamafile von Mozilla, steckt aber noch in den Kinderschuhen
https://github.com/Mozilla-Ocho/llamafile
Das soll angeblich auch bessere Performance ohne teure GPU bieten, da bin ich aber noch nicht wiklich mit beschäftigt gewesen.

Als Modell hatte ich hauptsächlich mit Lama3 experimentiert, was man mit Ollama auch direkt einbinden kann.

Für Delphi sehe ich das jetzt für mich nicht unbedingt als Hauptanwendung, aber OK, ist auch sehr sinnvoll.

Den Hauptvorteil der lokalen LLMs sehe ich eher darin, dass man damit auch vertrauliche Daten und Dokumente analysieren kann.
Der Zugang über WebUI oder direkt per Python, alles was das Herz begehrt, es ist aber noch nicht auf dem Level von ChatGPT.
Im Moment gibt es aber quasi täglich neue Mitspieler, neue Modelle und neue Technologien, das kann immer nur besser werden.

[Phoenix]

Zitat:

Zitat von Rollo62 (Beitrag 1538360)

Den Hauptvorteil der lokalen LLMs sehe ich eher darin, dass man damit auch vertrauliche Daten und Dokumente analysieren kann.

Da ist dann zum einen die Frage, wie vertraulich die Daten sind.
Wenn ich die aus einem Azure Storage runterlade, um sie dann lokal ans LLM zu geben und die Ergebnisse dann wieder in mein Cloud-RZ hochlade, kann ich auch gleich ein starkes LLM auf Azure mieten.

Sind die Daten in der Tat so vertraulich, dass sie unter gar keinen Umständen aus dem eigenen RZ raus dürfen, auf das dann auch etliche Security-Engineers 24/7 aufpassen (weil wenn man die nicht hat sind die Daten dort defakto nicht annähernd so sicher, wie man es sich vorstellt - und dann wäre eine Cloud definitiv der besser geschützte Platz), dann sollte ein kleiner A100 Cluster Preistechnisch auch aus der Portokasse bezahlbar sein ;)

Andernfalls geht das zwar prinzipiell auch, aber dann muss man halt unter umständen seeeehr viel Geduld mitbringen, weil das durcharbeiten von vielen Tokens dann auch viel Zeit braucht.

[Rollo62]

Naja, soooo vertraulich sind sie nun auch nicht, als dass man sie nicht in einer Cloud halten könnte.
Ich wollte nur den eigentlichen Vorteil der lokalen LLM erwähnen.
Mit den meisten Daten, selbsrt wenn es Kundendaten sind, hätte ich auch kein Problem das auf Cloud-Server zu hosten.
Die müssen dann halt nur DSGVO Konform sein, ehrlicherweise habe ich mir noch nicht die DSGVO Konformität von allen Anbietern unter die Lupe genommen.

Gefühlt würde ich sagen, Server in USA oder außerhalb EU, dann wird es wohl mit DSGVO schwierig.
Ist aber nur mein Bauchgefühl im Moment.

Ich arbeite immer nach dem Motto: Erstmal machen, dann schauen was man so darf und was nicht. :-D

P.S.: Welche Portokasse meinst Du denn, ich such die gerade ...
https://www.leadergpu.com/?fltr_type...BwE#chose-best

[Mavarik]

Zitat:

Zitat von Phoenix (Beitrag 1538333)

Zitat:

Zitat von Mavarik (Beitrag 1538331)

Hast Du ein praktisches "Hello World" für ein lokales LLM (Mit Delphi)

Wie gesagt, lokale LLMs sind (aktuell) bei weitem nicht so intelligent wie gehostete.

Dennoch: Mit Ollama (https://ollama.com/) kannst Du viele LLMs lokal betreiben:

Das ist ja ein externe Software.

Ein LLM "Hello World" mit Delphi sieht für mich so aus:

Eine Delphi Unit - zur Not mit einer Komponente - Läd Daten eines LLM und kann dann ohne externe Resourcen die Frage(n) beantworten.

Mavarik

[himitsu]

Zitat:

Zitat von Mavarik (Beitrag 1538368)

Eine Delphi Unit ...

siehe GetIt?

[TurboMagic]

Hallo,

hier auch noch was, das auch mit Delphi benutzt werden kann (Demo inklusive):
https://github.com/tinyBigGAMES/LMEngine

Arbeitet mit einem Offline LLM, das man sich auch noch herunterladen muss.
Es werden mehrere unterstützt, z. T. auch recht kompakte (naja 3 GB) von Microsoft.
Das kann Texte generieren, man kann es auch auf Deutsch "befragen" und es kann denke ich auch übersetzen.

Und ja: auch dieses liefert immer wieder falsche Daten (z. B. bei Dykstra einen falschen Geburtsort
und falsches Geburtsdatum) und es beharrt dann auch hartnäckig darauf, recht zu haben.

Es kann auch Mathe Aufgaben lösen, manchmal aber falsch ;-)

[himitsu]

Zitat:

Zitat von TurboMagic (Beitrag 1538373)

Es kann auch Mathe Aufgaben lösen, manchmal aber falsch ;-)

Menschlich halt.
Ist ja kein Roboter,

[TurboMagic]

Naja, es versuchte dann zu erklären wie die Lösung zustande kam und
hat in der Erklärung gemerkt dass es falsch war. Nur war der nächste
Lösungsvorschlag der dann sofort kam auch falsch ;-)

[Phoenix]

Zitat:

Zitat von Mavarik (Beitrag 1538368)

Ein LLM "Hello World" mit Delphi sieht für mich so aus:

Eine Delphi Unit - zur Not mit einer Komponente - Läd Daten eines LLM und kann dann ohne externe Resourcen die Frage(n) beantworten.

Das Stück Software, das die "Daten eines LLM", also diese Milliarden Parameter, Gewichtungen und Biases, direkt lädt und damit das LLM ausführt, nennt sich inference engine.
Ich wüsste ehrlich gesagt von keiner Inference Engine die in Delphi implementiert ist.

Llamacpp als eine inference engine z.B. ist in C++ geschrieben. Du könntest jetzt - rein theoretisch - diesen C++ Teil nehmen, direkt dagegen linken und damit die Engine In-Proc ausführen. Aber da würde ich mich ehrlich fragen wo da der Vorteil läge, wenn Du es sinnvoll out-of-process mit einer Web-API betreiben und ansprechen kannst.
Zumal dann der Wechsel zu einem hosted Model - und wie gesagt sind die deutlich mächtiger - nur daraus besteht, die URL statt zum lokalen Ollama z.B. auf Mistral zu ändern und einen API-Key zu hinterlegen.

[Phoenix]

Zitat:

Zitat von TurboMagic (Beitrag 1538392)

Naja, es versuchte dann zu erklären wie die Lösung zustande kam und hat in der Erklärung gemerkt dass es falsch war. Nur war der nächste Lösungsvorschlag der dann sofort kam auch falsch ;-)

Es sind ja auch Sprachmodelle. Die sind darauf trainiert Text zu generieren, der wahrscheinlich sinnvoll ist. In der Antwort standen die Ziffern vermutlich an der wahrscheinlich richtigen Stelle, es hat also alles richtig gemacht ;)

Rechnen können die Modelle nicht, aber deswegen kann man einem LLM ja mit Tool Calling auch z.B. eine Handvoll mathematischer Tools an die Hand geben und ihm sagen, dass es Berechnungen bitte damit machen soll. Das klappt dann in aller Regel sehr gut.

[Rollo62]

Zitat:

Zitat von Mavarik (Beitrag 1538368)

Ein LLM "Hello World" mit Delphi sieht für mich so aus:

Eine Delphi Unit - zur Not mit einer Komponente - Läd Daten eines LLM und kann dann ohne externe Resourcen die Frage(n) beantworten.

Mavarik

Das Ollama Projekt ist wohl aktuell der Stand der Technik, würde ich nicht versuchen in Delphi nachzuentwickeln.
Das läuft aber auch rein textuell auf Kommandozeile, da könnte Delphi als Schicht darüber sinnvoll sein.

[TurboMagic]

Zitat:

Zitat von Phoenix (Beitrag 1538407)

Zitat:

Zitat von Mavarik (Beitrag 1538368)

Ein LLM "Hello World" mit Delphi sieht für mich so aus:

Eine Delphi Unit - zur Not mit einer Komponente - Läd Daten eines LLM und kann dann ohne externe Resourcen die Frage(n) beantworten.

Das Stück Software, das die "Daten eines LLM", also diese Milliarden Parameter, Gewichtungen und Biases, direkt lädt und damit das LLM ausführt, nennt sich inference engine.
Ich wüsste ehrlich gesagt von keiner Inference Engine die in Delphi implementiert ist.

Llamacpp als eine inference engine z.B. ist in C++ geschrieben. Du könntest jetzt - rein theoretisch - diesen C++ Teil nehmen, direkt dagegen linken und damit die Engine In-Proc ausführen. Aber da würde ich mich ehrlich fragen wo da der Vorteil läge, wenn Du es sinnvoll out-of-process mit einer Web-API betreiben und ansprechen kannst.
Zumal dann der Wechsel zu einem hosted Model - und wie gesagt sind die deutlich mächtiger - nur daraus besteht, die URL statt zum lokalen Ollama z.B. auf Mistral zu ändern und einen API-Key zu hinterlegen.

Naja, bei In-Process kann typischerweise keiner weas blockieren. Bei Webverbindungen, selbst auf dem Local Host, kann so das eine oder andere in die Quere kommen...

[TBx]

Hinweis: hier gibt es eine Diskussion über Hardware, die zum Selbsthosten einer KI-Engine eingesetzt werden kann.