RAD Studio, Delphi, C++Builder 12.2

[BerndS]

Ich kann es irgendwie nicht glauben, dass es sich noch nicht rumgesprochen hat, dass man die Signierung aktuell mit sha256 machen sollte.
Daher wundert es mich doch sehr, dass die Dateien und der Installer sind nur mit sha1 signiert wurden.

Zu mindestens für die Funktion das nicht relevant.

[himitsu]

Habs noch nicht installiert.

Das SmartCodeinsight sieht ja praktisch genauso aus, wie der ChatGPT-Wizard im GetIt. (nur mit noch mehr KIs zur Auswahl, als nur ChatGPT)

Bei dem Wizzard mußte man sich bei OpenAI einen API-Zugang besorgen und dann den API-Key im Delphi/Wizart hinterlegen.
Muß man das bei dem Smarten auch machen, oder säuft das dann alles über einen Key von Emba, welchen die bezahlen?
Ups, übersehn ... jo, muß man sich dann auch erst kaufen. #43

Man muß das Model von Hand eintragen?
Der Wizzard hatte da eine Combobox mit Einigem zu Vorauswahl.

[Uwe Raabe]

Zitat von himitsu:

muß man sich dann auch erst kaufen. #43

Zumindest bei mir - und soweit ich weiß auch bei anderen - klappte es erst nachdem ein Guthaben auf dem Account war (was auch seine Zeit braucht um da durchzusickern). Irgendwo meine ich mal gelesen zu haben, dass der Free Access nur über das Web-Interface geht, aber nicht für den API-Zugriff gilt. Kann ich aber gerade nicht mehr finden.

[himitsu]

Wir hatten und vor 'ner Weile eh bei OpenAI bereits für die Firma das gekauft. (hatte es auch bereits in dem ChatGPT-Wizard vom GetIt geteset)

[perpeto1234]

Noch was: funktioniert bei euch Tools -> LSP-Server neustarten?

Bei Delphi 12.1 kam immer eine entsprechende Meldung "LSP-Server wurde neugestartet". Bei mir tut er gefühlt nichts.

[himitsu]

bereits in 12.1 ist bei mir seit längerem schon das Menü disabled. (vielleicht hatte ich es zu oft benutzt und nu isses kaputt)

takskill /im DelphiLSP.exe /f

entweder in der Konsole
oder
mach es so, wie bevor uns Emba ohne zu fragen die Idee geklaut und das dann auch noch falsch gemacht hatte.

Tools > Tools konfigurieren > hinzufügen

[Friday]

Zitat von Uwe Raabe:

Zitat von himitsu:

muß man sich dann auch erst kaufen. #43

Zumindest bei mir - und soweit ich weiß auch bei anderen - klappte es erst nachdem ein Guthaben auf dem Account war (was auch seine Zeit braucht um da durchzusickern). Irgendwo meine ich mal gelesen zu haben, dass der Free Access nur über das Web-Interface geht, aber nicht für den API-Zugriff gilt. Kann ich aber gerade nicht mehr finden.

hast du schon ein Gefühl dafür wie schnell die Tokens verbraucht werden, bzw. was die KI im Monat so kosten würde (bei "normaler" Nutzung).
Ich frag mich ob die 10$ für den Github Copilot im VSCode nicht deutlich günstiger sind.

Kennt openai im Delphi auch den Kontext des Codes oder ist das im Grunde nichts anderes als ein ChatGPT Client in der IDE den ich genauso im Browser nebendran geöffnet haben könnte?

[Uwe Raabe]

Ehrlich gesagt, ich habe es erstmal einfach nur zum Laufen bringen wollen. Ob ich mittelfristig viel damit machen werde kann ich noch nicht mal sagen. So richtig kann ich für mich persönlich noch keinen wirklichen Nutzen erkennen. Ich werde das aber weiter beobachten. Insofern bin ich natürlich auch an euren Erfahrungen damit interessiert.

Auf mein obiges Beispiel bezogen, wurden dafür 110 Tokens versendet und 721 tokens zurückgegeben. Dass hat also deutlich weniger als 1 Cent gekostet. Allerdings, je gesprächiger der Output gestaltet ist, desto teurer wird dann halt auch der ganze Spaß. Das hat man aber nur begrenzt unter Kontrolle.

[himitsu]

Ich hatte den ChatCPT-Wizard (aus'm GetIt in D11/12) installiert, aber noch nicht so oft wirklich bei der benutzt.

Kollegen nutzen aber ChatGPT schon vermehrt, sowohl für Delphi, aber vorallem auch für SQL (Postgres) ... wobei dort teilweise dem Ding vorher unser eigenes DB-Zeugs gegeben, damit der auch Funktionen, Tabellen und Views von uns in seinen Vorschlägen mit berücksichtigt.

[fisipjm]

Zum Thema AI Integration, aka smart code Insight.

Ich hab mir mal den Docker runtergeladen für das lokale "ollama" und es über wsl2 zum laufen gebracht, einfach nur weil ich neugierig war und das als einzigen Vorteil gegenüber der Konkurrenz sehe, dass ich mein Model lokal betreiben kann.
First things first: Die Doku sagt, man soll als Pfad "/api/generate" mit hinter die URL werfen. Lasst das weg, dann geht's auch delphi bastellt das selbst hinten dran. (Die Doku funktioniert, wie so oft, also mal wieder nicht)

Dann hat es mich interessiert, wenn man schon ein eigenes Docker Image bereit stellt, mit einem LLM hinten dran, ob man dann vielleicht den weg gegangen ist und hier ein auf Delphi und C++ optimiertes LLM rein gepackt hat.
Leider Fehlanzeige, es handelt sich hier um ein absolut unmodifiziertes stink normales codellame:7b model
Naja, Modifizierung kann man, dank des Open-Source Ansatzes ja wenigstens selbst machen, hab grad nur nicht genug Rechnerkapazitäten frei

https://ollama.com/library/codellama:7b

Damit ist dann auch schon klar, mit was man an RAM rechnen darf, nämlich 8GB Minimum an RAM der dann für das LLM reserviert ist. Da ich hier an einem Laptop ohne dedizierter Nvidia Grafikkarte arbeite (für alles andere ist ollama nicht wirklich optimiert), läuft das LLM "nur" auf einer i7-1265U CPU. Da ist die Antwort des LLMs so langsam, dass die Delphi IDE in einem Timeout rennt.

*IRONIE ON* Das alles durfte ich natürlich selbst herausfinden. Denn vorher zu beschreiben was man hier Benutzt und welche Mindestvoraussetzungen man an sein System anlegt damit es brauchbar funktioniert, wäre im Vorfeld sicher zu viel Arbeit gewesen. Man macht das ja schließlich ehrenamtlich und bekommt diese spitzen IDE nicht bezahlt *IRONIE OFF*