RAD Studio, Delphi, C++Builder 12.2

[fisipjm]

Zum Thema AI Integration, aka smart code Insight.

Ich hab mir mal den Docker runtergeladen für das lokale "ollama" und es über wsl2 zum laufen gebracht, einfach nur weil ich neugierig war und das als einzigen Vorteil gegenüber der Konkurrenz sehe, dass ich mein Model lokal betreiben kann.
First things first: Die Doku sagt, man soll als Pfad "/api/generate" mit hinter die URL werfen. Lasst das weg, dann geht's auch delphi bastellt das selbst hinten dran. (Die Doku funktioniert, wie so oft, also mal wieder nicht)

Dann hat es mich interessiert, wenn man schon ein eigenes Docker Image bereit stellt, mit einem LLM hinten dran, ob man dann vielleicht den weg gegangen ist und hier ein auf Delphi und C++ optimiertes LLM rein gepackt hat.
Leider Fehlanzeige, es handelt sich hier um ein absolut unmodifiziertes stink normales codellame:7b model
Naja, Modifizierung kann man, dank des Open-Source Ansatzes ja wenigstens selbst machen, hab grad nur nicht genug Rechnerkapazitäten frei

https://ollama.com/library/codellama:7b

Damit ist dann auch schon klar, mit was man an RAM rechnen darf, nämlich 8GB Minimum an RAM der dann für das LLM reserviert ist. Da ich hier an einem Laptop ohne dedizierter Nvidia Grafikkarte arbeite (für alles andere ist ollama nicht wirklich optimiert), läuft das LLM "nur" auf einer i7-1265U CPU. Da ist die Antwort des LLMs so langsam, dass die Delphi IDE in einem Timeout rennt.

*IRONIE ON* Das alles durfte ich natürlich selbst herausfinden. Denn vorher zu beschreiben was man hier Benutzt und welche Mindestvoraussetzungen man an sein System anlegt damit es brauchbar funktioniert, wäre im Vorfeld sicher zu viel Arbeit gewesen. Man macht das ja schließlich ehrenamtlich und bekommt diese spitzen IDE nicht bezahlt *IRONIE OFF*