KI in eigene Anwendung integrieren

[anse]

Ich hatte letztes Jahr für HeidiSQL einen Fenster eingebaut, in dem Nicht-Entwickler Abfragen in natürlicher Sprache eintippen konnten. An der Stanford Universität gab es da ein Studentenprojekt mit dem ich diese Abfragen per HTTP API in SQL "umwandeln" konnte. Sequal.dev hieß das Projekt. Die API ist leider vor kurzem eingestampft worden. Die Idee war eigentlich schon interessant, aber auch nur für blutige Anfänger geeignet die absolut keinen Plan von der Materie haben.

[Phoenix]

Zitat von anse:

Ich hatte letztes Jahr für HeidiSQL einen Fenster eingebaut, in dem Nicht-Entwickler Abfragen in natürlicher Sprache eintippen konnten. An der Stanford Universität gab es da ein Studentenprojekt mit dem ich diese Abfragen per HTTP API in SQL "umwandeln" konnte. Sequal.dev hieß das Projekt. Die API ist leider vor kurzem eingestampft worden. Die Idee war eigentlich schon interessant, aber auch nur für blutige Anfänger geeignet die absolut keinen Plan von der Materie haben.

Das ist eigentlich kein Problem mehr. Da gibts auch schon viel fertiges für, das sich die Tabellen automatisch beschreiben lässt (also die DDL aus der DB zieht), und das dann mit der Anfrage an ein Model gibt, und das dann das passende SQL generiert.

Sowas ist aber natürlich für Prompt Injection anfällig und wenn ein Benutzer sagt: "Bitte lösche mal die Buchungstabelle", dann kommt auch ein DROP TABLE bookings raus, und das ist ggf. ziemlich doof. Zweites Problem ist, dass er nicht auf Indices etc. optimiert, das heisst die Abfragen die da rauskommen sind nicht unbedingt sonderlich performant und können zu Performance-Problemen führen wenn die DB groß genug ist.

[Phoenix]

Ich hatte noch nen weiteren Use-Case vergessen, der steckt aber in meiner vorherigen längeren Antwort schon teilweise drin: Information extraction.

Wenn es darum geht, Dokumente in Systeme einzugeben, dann kann man das Dokument und die passende Struktur in ein LLM geben, und das zieht die Informationen dann daraus und bringt sie in eine passende strukturierte Form. Das machen wir gerade in einem größeren Projekt für sehr komplexe Dokumente, und es funktioniert erstaunlich gut, sofern das Prompt passt und das Model gut genug ist.

Das spart viel Zeit, und ist weniger Fehleranfällig als wenn ein Mensch das macht. Der braucht das jetzt nur noch zu kontrollieren. Und damit das sorgfältig und aufmerksam passiert, kann man ab und zu extra falsche Daten anzeigen. Ist zwar frech, funktioniert aber auch super.