Schau Dir mal Anthropics Claude 3.5 Sonnet an. Auch sehr, sehr beeindruckend.
Ja kenne ich, hab ich aber noch nicht ganz so viel mit gemacht.
Spielt aber definitiv in der gleichen Liga, manche behaupten sogar etwas besser als ChatGPT.
Den Benchmarks traue ich aber nicht immer, da geht es oft nur um Nuancen.
Mir gefällt aber die ChatGPT Ausgabe und Formatierung viel besser, das ist bei Claude etwas unübersichtlicher,
ist aber jammern auf hohem Niveau.
Es gibt ein paar Unterschiede hier und da, aber auf jeden Fall sind die Ergebnisse ähnlich, auch Llama3 ist super,
also da muss man schon in die Details für die jeweilige Anwendung schauen.
Ich hatte den Eindruck Claude bekommt Produkt-Werbetexte besser hin (natürlicher, attraktiver) als GPT (etwas zu trocken), aber beide sind gut verwendbar.
Prompt entweder das beste Ergebnis rauspicken oder aus den zwei besseren ein noch besseres zusammen fassen.
Da kommen wir dann in den Bereich der Agentensysteme, die mit unterschiedlichen Personas (im Prinzip der Prompt der dem Model sagt, wie es sich zu verhalten hat, also z.b. "Du bist ein Autor" oder "Du bist ein Lektor") zusammen an einem Problem arbeiten und sich gegenseitig challengen, verbessern und gemeinsam zu einem richtig, richtig guten Ergebnis kommen.
Genau, Prompt-Engineering ist ein Thema für sich, damit kann man extrem viel herausholen.
Da meine ich, das viele Nutzer glauben mit einfachen, plumpen Fragen perfekte Antworten generieren zu müssen.
Das wage ich zu bezweifeln, wie man in den Wald hineinruft, so schallt es heraus.
Für die immer gleich aussehenden Mails von Amazon und Ebay nimmt man dann aber besser doch eine Regex und kein LLM - ist billiger, schneller und zuverlässiger. Also nur weil man ein Model hat, ist es noch lange nicht die Lösung für alle Probleme.
Ja, das haben wir ja alle die letzten 40 Jahre lang versucht, mit mäßigem Erfolg, siehe Cross-Sales Vorschläge o.ä.
Genau da denke ich, dass die KI ein bischen Extra-Gehirnschmalz reinbringen kann, auch wenn der RegEx mal wieder zusammenbricht, weil es gerade doch wieder etwas vom vorgesehenen Template abweicht.
Vielleicht ist eine Kombination aus beidem ideal, RegEx können die LLMs natürlich auch perfekt.
Hast Du ein praktisches "Hello World" für ein lokales LLM (Mit Delphi)
In Holland gab es dazu einen Vortrag, aber was nicht so klar wurde war, welche vor trainierte LLM man für was
runter laden muss.
Mavarik
Ich hatte auch mit Ollama experimentiert, aber man muss schon eine gute Nvidia-Karte dafür haben.
Das mit WebUI sieht am Ende genauso aus wie ChatGPT, nur das es offen ist und zig Modelle unterstützt.
Dazu überlege ich mir gerade einen Server mit GPU anzuschaffen, ist aber auch extrem teuer und hoher Verbrauch.
Die "Holland"-Lösung mit einer gehosteten GPU-Instanz hat was für sich, aber günstig ist das alles nicht.
(Deshalb bin ich momentan auch noch größtenteils bei ChatGPT).
Ein vielversprechendes Projekt wird womöglich llamafile von Mozilla, steckt aber noch in den Kinderschuhen
https://github.com/Mozilla-Ocho/llamafile
Das soll angeblich auch bessere Performance ohne teure GPU bieten, da bin ich aber noch nicht wiklich mit beschäftigt gewesen.
Als Modell hatte ich hauptsächlich mit Lama3 experimentiert, was man mit Ollama auch direkt einbinden kann.
Für Delphi sehe ich das jetzt für mich nicht unbedingt als Hauptanwendung, aber OK, ist auch sehr sinnvoll.
Den Hauptvorteil der lokalen LLMs sehe ich eher darin, dass man damit auch vertrauliche Daten und Dokumente analysieren kann.
Der Zugang über WebUI oder direkt per Python, alles was das Herz begehrt, es ist aber noch nicht auf dem Level von ChatGPT.
Im Moment gibt es aber quasi täglich neue Mitspieler, neue Modelle und neue Technologien, das kann immer nur besser werden.