KI in eigene Anwendung integrieren

[Phoenix]

Zitat von Gruber_Hans_12345:

Eine Frage, wer hat sich schon mal beschäftigt diverses KI in die eigene Anwendung zu integrieren?

Mir geht es im Moment noch nicht um einen Code (außer es gibt da schon was)
Von welcher Stelle habt ihr die Infos zusammenbekommen, wie würde sowas theoretisch funktionieren, was Könnte man da so theoretisch machen und welche Anbieter würden sich da am besten eignen.

Ich bin in genau dem Thema seit knapp anderthalb Jahren schon beratend und durchführend in mehreren Kundenprojekten tätig.
Mein Fokus liegt dabei allerdings ausschliesslich auf Generativer AI (also primär Large Language Models, jetzt kommen schon auch erste Small Language Models und Multimodal Models dazu).

Im Grunde geht es hier um zwei Hauptbereiche. Das erste ist RAG (Retrieval Augmented Generation), also intelligente/Semantische Suche mit anschliessender Generierung einer Antwort. Wird auch oft als Chat-with-your-data angepriesen.
Zu dem Thema habe ich schon ein paar Vorträge gehalten, einen davon kannst Du hier anschauen: https://www.youtube.com/watch?v=wX_WJ9YeYLg

Das andere Thema ist (aus meiner Sicht) spannender. Hier geht es um Automatisierung, und zwar speziell im Bereich UI/UX.
Auch das involviert (wenn man es sinnvoll angeht) Embeddings, um semantische Bedeutung in den Funktionen der eigentlichen Anwendung und der Anfrage des Benutzers zu finden und zueinander zu bringen, und das dann durch die Macht von LLMs, nämlich menschliche Sprache zu verstehen und Sinn daraus zu machen, in wirkliche Integrationen zu verwandeln. Ein LLM zu verwenden ist dabei in aller Regel nur ein HTTP-API-Aufruf, also sehr simpel mit Hausmitteln zu machen.

Ein Use-case wäre, Anwendung startet. Der Benutzer spricht (im besten Falle, schlechter er tippt) seinen Wunsch ein, was er machen möchte (z.B. "Ich möchte einen neuen Benutzer anlegen. Benutzername soll sebgi sein, voller Name Sebastian Gingter mit der Email [e-mail], er soll die Rollen Hundeführer und Rettungshundestaffel bekommen. Die Adresse ist in Hausach, PLZ weiss ich grad nicht, und zwar der Priemelweg 123b."). Dazu haben wir natürlichsprachige Ergänzungen an allen Formularen der Anwendung, und finden mittels Embeddings raus, welche Sprachlich / inhaltlich am besten zu der Anfrage passen. Diese Forms rufen wir im Hindergrund unsichtbar ab und fragen diese nach der Datenstruktur, die hinter den eigentlichen Forms liegen (also z.B. die Datestruktur für Benutzer) ab Diese Kombi schicken wir an ein LLM, und das Antwortet uns im besten Falle mit "Navigiere auf die Seite Benutzer anlegen (oder bearbeiten im Neuanlage Modus) und befülle das Formular auf der Seite mit folgenden Daten: {JSON-Struktur mit den Informationen aus dem Text}. Wir nehmen die Antwort, navigieren dorthin, befüllen die Daten aus dem JSON und der Benutzer muss nur noch kontrollieren und absenden.

Das funktioniert überraschend gut, die Postleitzahl "errät" ein gescheit trainiertes Model in weit über 90% korrekt. Und ja, auch in Städten wo die Strasse ausschlaggebend für die PLZ ist. Auch bei Namen aus anderen Kulturen erkennt ein Model normalerweise sehr sehr zuverällig was denn jetzt der Vor- und was der Nachname ist und sortiert das entsprechend ein.

Ich habe für die EKON mal Session-Vorschläge eingereicht, ich weiss aber nicht ob die angenommen werden, da könnte man mich sonst entsprechend mal auf dem Flur abfangen und direkt ausquetschen. Ansonsten bin ich kommenden Mo.-Mi. auf der DWX in Nürnberg, auch mit den Themen zugange.