KI in eigene Anwendung integrieren

[Gruber_Hans_12345]

Hallo in die Runde

Eine Frage, wer hat sich schon mal beschäftigt diverses KI in die eigene Anwendung zu integrieren?

Mir geht es im Moment noch nicht um einen Code (außer es gibt da schon was)
Von welcher Stelle habt ihr die Infos zusammenbekommen, wie würde sowas theoretisch funktionieren, was Könnte man da so theoretisch machen und welche Anbieter würden sich da am besten eignen.

Bisher habe ich mit KI hauptsächlich nur mit Photoshop und co zu tun.
Vor kurzem habe ich dann gesehen das ein Anwendung die KI für die Hilfe integriert hat, das war eigentlich auch schon ein nettes Feature.

Wäre über alle Tipps/Tricks und Infos dankbar

[Gausi]

Ernstgemeinte Frage: Wozu?

Wenn du einen Anwendungsfall hast, bei dem du ein spezifisches Problem hast, dass ggf. mit Hilfe von KI gelöst werden kann, dann kann man sich darüber unterhalten, wie man das eine oder andere spezifische KI-Produkt in der eigenen Anwendung einbetten kann, oder wie man eine Schnittstelle dazu schaffen kann.

So klingt die Frage erstmal genauso allgemein (und nichtssagend) wie "Hat schonmal jemand Algorithmen in die eigene Anwendung integriert?". Einfach nur "KI" zu benutzen, damit man "KI" im Programm hat, halte ich für sinnfrei.

Im Zweifel einfach dranschreiben, dass KI drin steckt, auch wenn man nur eine einfache (aber irgendwie "intelligente") Suchfunktion eingebaut hat.

[Der schöne Günther]

Zitat:

Einfach nur "KI" zu benutzen, damit man "KI" im Programm hat, halte ich für sinnfrei.

Sag das mal dem Marketing...

[Gruber_Hans_12345]

Ja ist ein schwieriges Thema, ich bin auch eher der Verfechter das es ohne KI auch alles geht und man es gut programmieren kann - und wenn ich dann so Texte lese die mit KI gemacht sind - da gibt es halt auch sehr viele die so primitiv sind - da kommt mir oft das grausen (Sohnemann, hat zB Bewerbungen mit Hilfe von KI geschrieben - das war schlimm)

ABER Fakt ist, das der Ruf nach KI halt oft da ist genau wie Günther schreibt gerade vom Marketing, oder die Firmen X Y und Z verwenden KI warum wir nicht.

Dann Frage ich mich ob man nicht mal mit irgendwas bezüglich KI starten sollte.

Und wie gesagt die Hilfe mit KI Unterstützung war keine intelligente Suchfunktion, sondern das war definitiv irgendwas von ChatGPT und co das in der eigenen Hilfe dann gesucht hat.

[Phoenix]

Zitat von Gruber_Hans_12345:

Eine Frage, wer hat sich schon mal beschäftigt diverses KI in die eigene Anwendung zu integrieren?

Mir geht es im Moment noch nicht um einen Code (außer es gibt da schon was)
Von welcher Stelle habt ihr die Infos zusammenbekommen, wie würde sowas theoretisch funktionieren, was Könnte man da so theoretisch machen und welche Anbieter würden sich da am besten eignen.

Ich bin in genau dem Thema seit knapp anderthalb Jahren schon beratend und durchführend in mehreren Kundenprojekten tätig.
Mein Fokus liegt dabei allerdings ausschliesslich auf Generativer AI (also primär Large Language Models, jetzt kommen schon auch erste Small Language Models und Multimodal Models dazu).

Im Grunde geht es hier um zwei Hauptbereiche. Das erste ist RAG (Retrieval Augmented Generation), also intelligente/Semantische Suche mit anschliessender Generierung einer Antwort. Wird auch oft als Chat-with-your-data angepriesen.
Zu dem Thema habe ich schon ein paar Vorträge gehalten, einen davon kannst Du hier anschauen: https://www.youtube.com/watch?v=wX_WJ9YeYLg

Das andere Thema ist (aus meiner Sicht) spannender. Hier geht es um Automatisierung, und zwar speziell im Bereich UI/UX.
Auch das involviert (wenn man es sinnvoll angeht) Embeddings, um semantische Bedeutung in den Funktionen der eigentlichen Anwendung und der Anfrage des Benutzers zu finden und zueinander zu bringen, und das dann durch die Macht von LLMs, nämlich menschliche Sprache zu verstehen und Sinn daraus zu machen, in wirkliche Integrationen zu verwandeln. Ein LLM zu verwenden ist dabei in aller Regel nur ein HTTP-API-Aufruf, also sehr simpel mit Hausmitteln zu machen.

Ein Use-case wäre, Anwendung startet. Der Benutzer spricht (im besten Falle, schlechter er tippt) seinen Wunsch ein, was er machen möchte (z.B. "Ich möchte einen neuen Benutzer anlegen. Benutzername soll sebgi sein, voller Name Sebastian Gingter mit der Email [e-mail], er soll die Rollen Hundeführer und Rettungshundestaffel bekommen. Die Adresse ist in Hausach, PLZ weiss ich grad nicht, und zwar der Priemelweg 123b."). Dazu haben wir natürlichsprachige Ergänzungen an allen Formularen der Anwendung, und finden mittels Embeddings raus, welche Sprachlich / inhaltlich am besten zu der Anfrage passen. Diese Forms rufen wir im Hindergrund unsichtbar ab und fragen diese nach der Datenstruktur, die hinter den eigentlichen Forms liegen (also z.B. die Datestruktur für Benutzer) ab Diese Kombi schicken wir an ein LLM, und das Antwortet uns im besten Falle mit "Navigiere auf die Seite Benutzer anlegen (oder bearbeiten im Neuanlage Modus) und befülle das Formular auf der Seite mit folgenden Daten: {JSON-Struktur mit den Informationen aus dem Text}. Wir nehmen die Antwort, navigieren dorthin, befüllen die Daten aus dem JSON und der Benutzer muss nur noch kontrollieren und absenden.

Das funktioniert überraschend gut, die Postleitzahl "errät" ein gescheit trainiertes Model in weit über 90% korrekt. Und ja, auch in Städten wo die Strasse ausschlaggebend für die PLZ ist. Auch bei Namen aus anderen Kulturen erkennt ein Model normalerweise sehr sehr zuverällig was denn jetzt der Vor- und was der Nachname ist und sortiert das entsprechend ein.

Ich habe für die EKON mal Session-Vorschläge eingereicht, ich weiss aber nicht ob die angenommen werden, da könnte man mich sonst entsprechend mal auf dem Flur abfangen und direkt ausquetschen. Ansonsten bin ich kommenden Mo.-Mi. auf der DWX in Nürnberg, auch mit den Themen zugange.

[Mavarik]

Mal abgesehen vom Nutzen...

Ich denke wir müssen unterscheiden zwischen ChatGPT like KI und ich hab ein NN mit 100 Nodes in 2 Layer.

Also professionell gegen "hausgemacht" oder kostenlos gegen egal was es kostet.

Ich hätte gerne ein LLM mit meinen Hilfe-Dateien erzeugt, damit meine Kunden meinem Hilfe-System fragen stellen können.

Ich habe vor einigen Jahren eine NN Unit programmiert.
Mein kleines Netzwerk kann kleine Aufgaben erledigen, aber wenn es um mehr geht, muss es wenigstens auf der GPU laufen. Daher habe ich letzte Woche
ein Compute-Shade-Interface erstellt (ChatGPT hat dabei geholfen). Muss "nur" noch mein NN darauf umstellen. Aber selbst damit ist man Meilen weit von LLM's entfernt.

Mein 1. Ziel ist momentan Arbeitsabläufe vorher zu sagen, aber dafür brauche ich natürlich erst mal viele Datenpunkte um mein NN zu trainieren.
Wird auch nicht übermorgen fertig werden.

Mavarik

[anse]

Ich hatte letztes Jahr für HeidiSQL einen Fenster eingebaut, in dem Nicht-Entwickler Abfragen in natürlicher Sprache eintippen konnten. An der Stanford Universität gab es da ein Studentenprojekt mit dem ich diese Abfragen per HTTP API in SQL "umwandeln" konnte. Sequal.dev hieß das Projekt. Die API ist leider vor kurzem eingestampft worden. Die Idee war eigentlich schon interessant, aber auch nur für blutige Anfänger geeignet die absolut keinen Plan von der Materie haben.

[Phoenix]

Zitat von anse:

Ich hatte letztes Jahr für HeidiSQL einen Fenster eingebaut, in dem Nicht-Entwickler Abfragen in natürlicher Sprache eintippen konnten. An der Stanford Universität gab es da ein Studentenprojekt mit dem ich diese Abfragen per HTTP API in SQL "umwandeln" konnte. Sequal.dev hieß das Projekt. Die API ist leider vor kurzem eingestampft worden. Die Idee war eigentlich schon interessant, aber auch nur für blutige Anfänger geeignet die absolut keinen Plan von der Materie haben.

Das ist eigentlich kein Problem mehr. Da gibts auch schon viel fertiges für, das sich die Tabellen automatisch beschreiben lässt (also die DDL aus der DB zieht), und das dann mit der Anfrage an ein Model gibt, und das dann das passende SQL generiert.

Sowas ist aber natürlich für Prompt Injection anfällig und wenn ein Benutzer sagt: "Bitte lösche mal die Buchungstabelle", dann kommt auch ein DROP TABLE bookings raus, und das ist ggf. ziemlich doof. Zweites Problem ist, dass er nicht auf Indices etc. optimiert, das heisst die Abfragen die da rauskommen sind nicht unbedingt sonderlich performant und können zu Performance-Problemen führen wenn die DB groß genug ist.

[Phoenix]

Ich hatte noch nen weiteren Use-Case vergessen, der steckt aber in meiner vorherigen längeren Antwort schon teilweise drin: Information extraction.

Wenn es darum geht, Dokumente in Systeme einzugeben, dann kann man das Dokument und die passende Struktur in ein LLM geben, und das zieht die Informationen dann daraus und bringt sie in eine passende strukturierte Form. Das machen wir gerade in einem größeren Projekt für sehr komplexe Dokumente, und es funktioniert erstaunlich gut, sofern das Prompt passt und das Model gut genug ist.

Das spart viel Zeit, und ist weniger Fehleranfällig als wenn ein Mensch das macht. Der braucht das jetzt nur noch zu kontrollieren. Und damit das sorgfältig und aufmerksam passiert, kann man ab und zu extra falsche Daten anzeigen. Ist zwar frech, funktioniert aber auch super.

[himitsu]

Es kommt auch drauf an, was für eine KI.

Für ChatGPT/GPT4 gibt es was im GetIt ... einmal als Erweiterung, damit du es selbst innerhalb der Delphi-IDE nutzen kannst
und dann nochmal als Komponante für deine Programme.


Es gibt auch KI-Systeme zum Downloaden, welche man lokal/offline nutzen kann.
Denn was viele vom Marketing vergessen, dass ein Großteil online ist, wo dann Daten rausgegeben werden.
-> Datenschutz und auch die Sicherheit (potentielles Einfallstor)


Ein Kunde verucht aktuell selbst etwas mit KI zu machen.
Dort schaut sich die KI Konstruktionspläne seiner (Neu)Kunden an und versucht zu schätzen, wie groß Aufwand/Auftragszeit/... sein könnte, anhand bisheriger Aufträge, auch um gleich zu Beginn eventuelle Kosten und den Preis einschätzen zu können.