KI in eigene Anwendung integrieren

[TurboMagic]

Hallo,

hier auch noch was, das auch mit Delphi benutzt werden kann (Demo inklusive):
https://github.com/tinyBigGAMES/LMEngine

Arbeitet mit einem Offline LLM, das man sich auch noch herunterladen muss.
Es werden mehrere unterstützt, z. T. auch recht kompakte (naja 3 GB) von Microsoft.
Das kann Texte generieren, man kann es auch auf Deutsch "befragen" und es kann denke ich auch übersetzen.

Und ja: auch dieses liefert immer wieder falsche Daten (z. B. bei Dykstra einen falschen Geburtsort
und falsches Geburtsdatum) und es beharrt dann auch hartnäckig darauf, recht zu haben.

Es kann auch Mathe Aufgaben lösen, manchmal aber falsch

[himitsu]

Zitat von TurboMagic:

Es kann auch Mathe Aufgaben lösen, manchmal aber falsch

Menschlich halt.
Ist ja kein Roboter,

[TurboMagic]

Naja, es versuchte dann zu erklären wie die Lösung zustande kam und
hat in der Erklärung gemerkt dass es falsch war. Nur war der nächste
Lösungsvorschlag der dann sofort kam auch falsch

[Phoenix]

Zitat von Mavarik:

Ein LLM "Hello World" mit Delphi sieht für mich so aus:

Eine Delphi Unit - zur Not mit einer Komponente - Läd Daten eines LLM und kann dann ohne externe Resourcen die Frage(n) beantworten.

Das Stück Software, das die "Daten eines LLM", also diese Milliarden Parameter, Gewichtungen und Biases, direkt lädt und damit das LLM ausführt, nennt sich inference engine.
Ich wüsste ehrlich gesagt von keiner Inference Engine die in Delphi implementiert ist.

Llamacpp als eine inference engine z.B. ist in C++ geschrieben. Du könntest jetzt - rein theoretisch - diesen C++ Teil nehmen, direkt dagegen linken und damit die Engine In-Proc ausführen. Aber da würde ich mich ehrlich fragen wo da der Vorteil läge, wenn Du es sinnvoll out-of-process mit einer Web-API betreiben und ansprechen kannst.
Zumal dann der Wechsel zu einem hosted Model - und wie gesagt sind die deutlich mächtiger - nur daraus besteht, die URL statt zum lokalen Ollama z.B. auf Mistral zu ändern und einen API-Key zu hinterlegen.

[Phoenix]

Zitat von TurboMagic:

Naja, es versuchte dann zu erklären wie die Lösung zustande kam und hat in der Erklärung gemerkt dass es falsch war. Nur war der nächste Lösungsvorschlag der dann sofort kam auch falsch

Es sind ja auch Sprachmodelle. Die sind darauf trainiert Text zu generieren, der wahrscheinlich sinnvoll ist. In der Antwort standen die Ziffern vermutlich an der wahrscheinlich richtigen Stelle, es hat also alles richtig gemacht

Rechnen können die Modelle nicht, aber deswegen kann man einem LLM ja mit Tool Calling auch z.B. eine Handvoll mathematischer Tools an die Hand geben und ihm sagen, dass es Berechnungen bitte damit machen soll. Das klappt dann in aller Regel sehr gut.

[Rollo62]

Zitat von Mavarik:

Ein LLM "Hello World" mit Delphi sieht für mich so aus:

Eine Delphi Unit - zur Not mit einer Komponente - Läd Daten eines LLM und kann dann ohne externe Resourcen die Frage(n) beantworten.

Mavarik

Das Ollama Projekt ist wohl aktuell der Stand der Technik, würde ich nicht versuchen in Delphi nachzuentwickeln.
Das läuft aber auch rein textuell auf Kommandozeile, da könnte Delphi als Schicht darüber sinnvoll sein.

[TurboMagic]

Zitat von Phoenix:

Zitat von Mavarik:

Ein LLM "Hello World" mit Delphi sieht für mich so aus:

Eine Delphi Unit - zur Not mit einer Komponente - Läd Daten eines LLM und kann dann ohne externe Resourcen die Frage(n) beantworten.

Das Stück Software, das die "Daten eines LLM", also diese Milliarden Parameter, Gewichtungen und Biases, direkt lädt und damit das LLM ausführt, nennt sich inference engine.
Ich wüsste ehrlich gesagt von keiner Inference Engine die in Delphi implementiert ist.

Llamacpp als eine inference engine z.B. ist in C++ geschrieben. Du könntest jetzt - rein theoretisch - diesen C++ Teil nehmen, direkt dagegen linken und damit die Engine In-Proc ausführen. Aber da würde ich mich ehrlich fragen wo da der Vorteil läge, wenn Du es sinnvoll out-of-process mit einer Web-API betreiben und ansprechen kannst.
Zumal dann der Wechsel zu einem hosted Model - und wie gesagt sind die deutlich mächtiger - nur daraus besteht, die URL statt zum lokalen Ollama z.B. auf Mistral zu ändern und einen API-Key zu hinterlegen.

Naja, bei In-Process kann typischerweise keiner weas blockieren. Bei Webverbindungen, selbst auf dem Local Host, kann so das eine oder andere in die Quere kommen...

[TBx]

Hinweis: hier gibt es eine Diskussion über Hardware, die zum Selbsthosten einer KI-Engine eingesetzt werden kann.