KI in eigene Anwendung integrieren

[freimatz]

Zitat von Der schöne Günther:

Zitat:

Einfach nur "KI" zu benutzen, damit man "KI" im Programm hat, halte ich für sinnfrei.

Sag das mal dem Marketing...

"Liebes Marketing, KI ist für uns kein Problem. Das haben wir in unserer Software schon seit Jahren."

[himitsu]

unKontrolliert Infantiles Verhalten?


Wir haben auch noch ausreichend natürlich Dummheit, mit der wir erstmal fertig werden müssen.

[Phoenix]

Dazu muss man auch bedenken, KI ist ein sehr weites Feld.

Im Prinzip fällt auch schon ein sehr kleines Machine-Learning Model zur Klassifikation von Äpfeln und Birnen basierend auf der Breite und Höhe der Frucht unter KI. Das kann man in ein paar Minuten selber trainieren und das funktioniert bis auf sehr runde Birnen bzw. sehr längliche Äpfel auch ziemlich gut.

Auch gängige OCR-Models (Texterkennung in Bildern) sind KI, haben aber mit generativer KI auch nicht viel am Hut.

Die Frage ist also auch eher, was man genau machen will. Je nachdem braucht man dann eher "klassische" ML-Modelle für genau diese Aufgabe, die müsste man meist selber trainieren oder basierend auf einem passenden Basismodell selber fine-tunen (das ist dann aber eher Aufgabe für Data Scientists, vor allem das selber trainieren braucht viele Datensätze, und viele sind nicht "nur ein paar Zehntausend", und beim Fine-Tunen sollte man auch mindestens mit einigen Tausenden loslegen), oder man ist eben eventuell im Bereich Generativer KI (LLMs/SLMs) und versucht, sich das Sprachverständnis der Modell zu Nutze zu machen.

[TigerLilly]

Zitat von Phoenix:

die müsste man meist selber trainieren

Das ist der Punkt. KI ist cool, KI kann viel, aber alles nur, wenn sie mit den passenden Daten passend trainiert wird. Das vergessen viele. himtsu bringt das Beispiel mit der Schätzung des Aufwands aus den Konstruktionsplänen. Ist natürlich cool + für KI ein Modellanwendungsfall. Aber für das Training der KI müssen die Pläne aufbereitet werden + mit bestehenden Schätzungen versehen werden. Das Training ist nicht trivial.

[himitsu]

Die sind schon länger an der Sache dran.
Und sie wissen natürlich, dass es dann nur ein unverbindlicher Vorschlag wird, der nicht unbedingt stimmen muß.
Grob gesehn, sollen Anzahl und Komplexität von Einzelteilen eingestuft/geschätzt werden, sowie die verwendeten Materialien und dann im Vergleich zu alten Projekten mit deren Kosten und Aufwand hochgerechnet werden.
Es soll einfach nur bei der Planung und Priorisierung der Aufträge unterstützen.



https://www.delphipraxis.net/215177-...r-chatbot.html

https://www.musikwoche.de/recorded-p...806126e1d1221f
https://www.fazemag.de/universal-son...en-ki-dienste/
...


Es gibt ja viele Fälle, wo KI anfänglich super aussah, aber dann das Gegenteil brachte.
Sowas sollte man dabei also auch mit beachten und regelmäßig mal prüfen.

* Eine KI sollte Bewerbungen vorsortieren und dass vollkommen ohne Vorurteile (wie bei den menschlichen Personalern)
- Sie wurde aber mit alten Bewerbungen und alten/aktuellen arbeitsverträgen gefüttert, wo weiße Männer bevorzugt wurden,
- drum sortierte die Frauen vorzusweise aus, sowie Ausländer oder Männer, wo z.B. der Name weiblich klang, oder die ein "typisch weibliches" Hobby hatten.

* eine KI bei einem Gebrauchtwagenhändler sollte Autos einstufen
- Statt gut/teuer und schlecht/billig, kategorisierte sie das Wetter auf den Fotos, sowie den Verschmutzungsgrad der Autos
- teure Luxusschlitten waren meist "schön" fotografiert, bei strahlendem Sonnenschein, und Schrottkarren halt ..... nja

* Oder die Firscherkunngs-KI erkannte viele der Fische nicht wirklich, sondern die Finger der Angler, wie sie den fisch hielten

* ...

[TigerLilly]

Passend vielleicht:
https://www.clickworker.de/kunden-bl...-datensaetzen/

[Gruber_Hans_12345]

Ok mal danke an alle - ist ja mal eine richtig richtig gute Infoquelle geworden

@Phoenix Vielen Dank für das Video war wirklich sehr sehr gut, und hat schon mal vieles an Fragen geklärt.
Was mich aber wie du auch selber geschrieben hast auch viel mehr interessieren würde wäre der Case mit der Automatisierung der UI - gibt es dazu auch wo ein Video (darf auch hinter einer Bezahlschranke sein wäre kein Problem)

Für meinen Fall würde ich eher professionelle System bevorzugen - zumindest zu einen Teil falls mal etwas auch selber auf den eigenen Servern laufen lassen kann dann das bevorzugt - aber es muss nicht alles in der eigenen App laufen und darf auch etwas kosten (solange es sich halt in Grenzen hält)

[TigerLilly]

Ergänzend zu himtsus Liste + zum Nachlesen, weil das ein Musterbeispiel für die Probleme beim Einsatz von KI war:

https://www.derstandard.at/story/300...falsch-gemacht
https://netzpolitik.org/2024/diskrim...em-ki-chatbot/

[Phoenix]

Zitat von Gruber_Hans_12345:

Was mich aber wie du auch selber geschrieben hast auch viel mehr interessieren würde wäre der Case mit der Automatisierung der UI - gibt es dazu auch wo ein Video (darf auch hinter einer Bezahlschranke sein wäre kein Problem)

Mein Kollege Christian hat das mal Webbasiert mit Angular Frontends in einem Webinar gezeigt:
https://www.thinktecture.com/webinar...t-form-filler/

Meine Demo mit ASP.NET Core Blazor gibts aktuell noch nicht öffentlich.

Zitat von Gruber_Hans_12345:

Für meinen Fall würde ich eher professionelle System bevorzugen - zumindest zu einen Teil falls mal etwas auch selber auf den eigenen Servern laufen lassen kann dann das bevorzugt - aber es muss nicht alles in der eigenen App laufen und darf auch etwas kosten (solange es sich halt in Grenzen hält)

Das ist eher schwierig. Zumindest noch Stand heute. Das Thema bewegt sich gerade so dermaßen schnell, das es täglich so viele neue Papers und Releases gibt, das man da nahezu nicht mehr mit Schritt halten kann. Aber eben Stand heute braucht es für wirklich Sinnvoll funktionierende Integrationen noch das Sprachverständnis von mindestens GPT-3.5, eher GPT-4 (OpenAI), Mistral-Large oder Anthropics Claude-Sonnet 3.5.
Kleinere Modelle die lokal laufen können wie z.B. Phi-3 von Microsoft sind aktuell noch zu unzuverlässig. Bessere Modelle wie ein Mixtral 8x22b sind lokal entweder zu langsam (2-3 Tokens pro Sekunde, wenn sie überhaupt auf normaler Hardware starten, da kannst Du für nen halben Satz locker nen Kaffee holen gehen) oder brauchen eben mehrere NVidia A100 (da kostet eine schon 6-7 tausend).
Und diese Models können noch nicht vernünftig Function- oder Tool-Calling - und das braucht es für sinnvolle Integrationsszenarien.

Das wird im Laufe der Zeit ganz sicher lokal auf preislich noch vernünftiger Hardware mit sinnvoller Performance und auch entsprechend gut funktionierenden Modellen möglich werden, aber ob die Open-Source Model Qualität, das nötige Feintuning, die passende Quantisierung und die Optimierung der Inferenz in 2-3 Monaten oder 2-3 Jahren diesen Stand erreichen werden ist heute noch nicht vorhersagbar.

Aktuell wird man solche Integrationen also nur mit großen Models die man als Service mieten kann erreichen können.
Der einfachste Weg das Datenschutzkonform hinzubekommen ist aktuell Azure OpenAI Service bei dem man die OpenAI GPT-Models in einem Europäischen Datencenter, mit den Azure Datenverarbeitungsverträgen abgesichert, verwenden kann, ohne in irgendwelche Probleme zu laufen. Bei AWS geht das ggf. mit Bedrock, aber da kenne ich mich nicht genug mit aus.

[Rollo62]

Ich beschäftige mich nun auch seit geraumer Zeit mit LLMs, und sehe aktuell ChatGPT 4o als den Referenzstandard.
Wenn ich die Erwartungen der Nutzer sehe, dass die KI quasi "menschähnlich", aber definitiv immer 150% richtig agieren MUSS, dann denke ich mit nur das dies vielleicht etwas überhöhte Erwartungen sind.

Ich mache viele Experimente mit verschiedensten KI, lokal und online, aber mein Favorit ist und bleibt ChatGPT.

Mit dessen Hausmitteln und etwas kleverer Vorbereitung beim Prompting kann man wirklich unfassbar exakte und reproduzierbare Ergebnisse erzielen.
Das Problem ist meiner Meinung nach da, wo die Leute eine eierlegende Wollmilchsau erwarten, das tue ich nicht.

Ich habe mir zum Beispiel KI-Assistenten für viele kleine Teilprobleme gebaut, wo die Aufgaben viel Zeit in Anspruch nehmen und immer wiederkehren, z.B. Umformatierungen von Strukturen / Datensätzen, Konvertierungen, Übersetzungen, Verifikationen und Auswertungen, usw.
Dabei kommen mit ChatGPT sehr effektive Custom-KI-Assistenten für spezifische Aufgaben heraus,
die ich quasi blind sehr zuverlässig nutzen kann.

Aktuell sehe ich KI eher für solche, kleinteiligeren Aufgaben machbar, die man klar definieren und abgrenzen kann,
statt die KI auf völlig unbekanntes Terrain zu schicken.
Das muss ja schiefgehen, das wäre als fragt man die Reinigungshilfe ob sie auch mal eben die SPS-Steurung anpassen kann.

Ich nutze da noch nicht wirklich die API-Schnittstellen, sondern meistens noch Copy&Paste in ChatGPT, aus verschiedenen Gründen, zumal es dafür noch keine API gibt und man sich selbst um die Sessions kümmern muss.
Dennoch ist selbst das immer noch 100x effizienter und 100x schneller, als wenn man diese Arbeiten von Hand oder sonstwie machen müsste.

Die Ergebnisse verifiziere ich ständig, aber ich kann sagen dass die mittlerweile nahezu 100% perfekt sind,
kommt natürlich immer auf die Komplexität an.
Aber alles was mit Textpattern, Textmustern, Strukturen in Texten zu tun hat, das kann GPT aus dem EffEff, ohne Training.

Vielleicht muss man mit KI einfach auch mal kleinere, bescheidenere Brötchen backen, das wäre mein Ansatz dazu.
Das ist womöglich erst noch der kleine hilfreiche Kobold, der heimlich unsere ungeliebten Aufgaben erledigt, und nicht direkt die superintelligente AGI.
Denn wo der HAL9000, der WOPR aus WarGames, das MCP aus TRON, uva. hinführen können, das wissen wir ja alle