Was mich aber wie du auch selber geschrieben hast auch viel mehr interessieren würde wäre der Case mit der Automatisierung der UI - gibt es dazu auch wo ein Video (darf auch hinter einer Bezahlschranke sein wäre kein Problem)
Mein Kollege Christian hat das mal Webbasiert mit Angular Frontends in einem Webinar gezeigt:
https://www.thinktecture.com/webinar...t-form-filler/
Meine Demo mit ASP.NET Core Blazor gibts aktuell noch nicht öffentlich.
Für meinen Fall würde ich eher professionelle System bevorzugen - zumindest zu einen Teil falls mal etwas auch selber auf den eigenen Servern laufen lassen kann dann das bevorzugt - aber es muss nicht alles in der eigenen App laufen und darf auch etwas kosten (solange es sich halt in Grenzen hält)
Das ist eher schwierig. Zumindest noch Stand heute. Das Thema bewegt sich gerade so dermaßen schnell, das es täglich so viele neue Papers und Releases gibt, das man da nahezu nicht mehr mit Schritt halten kann. Aber eben Stand heute braucht es für wirklich Sinnvoll funktionierende Integrationen noch das Sprachverständnis von mindestens GPT-3.5, eher GPT-4 (OpenAI), Mistral-Large oder Anthropics Claude-Sonnet 3.5.
Kleinere Modelle die lokal laufen können wie z.B. Phi-3 von Microsoft sind aktuell noch zu unzuverlässig. Bessere Modelle wie ein Mixtral 8x22b sind lokal entweder zu langsam (2-3 Tokens pro Sekunde, wenn sie überhaupt auf normaler Hardware starten, da kannst Du für nen halben Satz locker nen Kaffee holen gehen) oder brauchen eben mehrere NVidia A100 (da kostet eine schon 6-7 tausend).
Und diese Models können noch nicht vernünftig Function- oder Tool-Calling - und das braucht es für sinnvolle Integrationsszenarien.
Das wird im Laufe der Zeit ganz sicher lokal auf preislich noch vernünftiger Hardware mit sinnvoller Performance und auch entsprechend gut funktionierenden Modellen möglich werden, aber ob die Open-Source Model Qualität, das nötige Feintuning, die passende Quantisierung und die Optimierung der Inferenz in 2-3 Monaten oder 2-3 Jahren diesen Stand erreichen werden ist heute noch nicht vorhersagbar.
Aktuell wird man solche Integrationen also nur mit großen Models die man als Service mieten kann erreichen können.
Der einfachste Weg das Datenschutzkonform hinzubekommen ist aktuell Azure OpenAI Service bei dem man die OpenAI GPT-Models in einem Europäischen Datencenter, mit den Azure Datenverarbeitungsverträgen abgesichert, verwenden kann, ohne in irgendwelche Probleme zu laufen. Bei AWS geht das ggf. mit Bedrock, aber da kenne ich mich nicht genug mit aus.