KI-gestützte Entwicklung in RAD Studio 12.2

[sh17]

Über API kostet immer Geld extra. Hat mit dem Abo nichts zu tun.

[t2000]

Zitat von sh17:

Über API kostet immer Geld extra. Hat mit dem Abo nichts zu tun.

Das ist schon klar, aber es hieß auch im ChatGpt Fenster muss man extra zahlen. Und daas habe ich bisher noch nicht gesehen.

[BastiFantasti]

Bei dem ChatGPT Fenster hängt es davon ab welches Modell man verwendet.
Die schlechteren / älteren sind günstiger oder Kostenlos bzw. in dem Standardabo enthalten.

Ich habe mir das deepseek-r1:14b Modell auf den Rechner geholt. Allerdings ist die Performance dieses "Thinking" Models recht langsam.
Für das testweise erklären lassen einer Funktion in Delphi hat er über eine Minute rumgenudelt.

Hat einer schon Erfahrungen mit den anderen deepseek Modellen V3 oder Coder-V2 gemacht?

Wie habt ihr das Modell lokal am laufen? In Docker oder mittels Ollama direkt installiert unter Windows
Mit welchem Modell habt Ihr in Verbindung mit Delphi bis jetzt die besten/produktivsten Ergebnisse erzielt.


Viele Grüße
Bastian

[fisipjm]

Zitat von BastiFantasti:

Bei dem ChatGPT Fenster hängt es davon ab welches Modell man verwendet.
Mit welchem Modell habt Ihr in Verbindung mit Delphi bis jetzt die besten/produktivsten Ergebnisse erzielt.


Viele Grüße
Bastian

Hi Bastian,

ich finde die "Integration" in der Delphi IDE immer noch lächerlich. Wer schon einmal mit VS-Code und Copilot oder sogar Cursor AI gearbeitet hat der macht die Delphi Integration einmal auf, greift sich an den Kopf und macht sie schnell wieder zu. Ich verwende nach wie vor diese (kostengünstigere und imho bessere) Variante: https://github.com/csm101/EditInVsCodeDelphiPlugin

Grundsätzlich wirst du mit den "kleineren" LLMs die du lokal laufen lassen kannst in Kombination mit Delphi nicht viel mehr als absolute Basic Aufgaben erledigt bekommen. Die Performance und Qualität deines lokalen LLMs hängt stark von deiner Hardware und dem eingesetzten Modell ab. Ich habe sehr gute Erfahrungen mit GPT4o und o3-Mini von Chat-GPT gemacht. Lokal hat mich kein LLM überzeugt, kann aber auch daran liegen, dass ich mir mit 32 GB RAM nur die maximal 14b Modelle gezogen habe.

[pustekuchen]

Zitat von fisipjm:

ich finde die "Integration" in der Delphi IDE immer noch lächerlich. Wer schon einmal mit VS-Code und Copilot oder sogar Cursor AI gearbeitet hat der macht die Delphi Integration einmal auf, greift sich an den Kopf und macht sie schnell wieder zu.

Stimme ich vollkommen zu. Im März soll ein Update kommen, womit alles viel besser werden wird.
https://www.youtube.com/watch?v=HBejAWPPaO4

Zitat von EmbacaderoGermany:

Bei der aktuellen Version handelt es sich um die erste Integration. Du darfst gespannt sein auf das Update im März, da gerade das Handling überarbeitet und optimiert wird.

[Dave4711]

Das Ausgabeverhalten über die API im RAD-Studio ist anders, als wenn ich mit der offizielle Deepseek-WebPage über einem Browser arbeitet. Beim Browser kann man die KI beim Denken zusehen, wenn man es möchte. Die Ausgabe erfolgt dann wie beim Telegraphen. Man kann den Text sofort direkt mitlesen. Die Zeit wird vollständig genutzt.
Bei der API erfolgt die Ausgabe komplett erst nach Durchlauf der ganzen KI-Prozesse. Die Gesamtlaufzeiten sind dabei ungefähr gleich. Gefühlt ist die API langsamer, weil man einige Zeit einfach nur wartet. Dies empfinde ich als nervig. Dies wird wohl auch bei der nächsten RAD-Studio nicht anders sein, da sie voll auf die API setzt.
Ich verwende, wie schon beschrieben, ein lokales "Deepseek-R1:70B"-Modell in "Ollama" auf einem "MacBook mit M3 Max und 64GB Speicher". Zusätzlich habe ich Pinokio und darin "Open WebUI" auf dem Mac installiert. "Open WebUI" läuft als Service ("Configure: Local Sharing"). Damit kann ich von jeden Rechner im lokalen Netz über einen Browser auf Deepseek zugreifen ("http://macbook:42004/"). Das Ausgabeverhalten ist nun identisch, wie wenn ich mit der offizielle Deepseek-WebPage arbeite.
Für mich ist dies die komfortabelste Arbeitsweise mit der lokalen Deepseek-Installation, obwohl ich Texte hin und her kopiere. Die Zeit wird vollständig genutzt ohne nervige Wartezeiten.

[Dave4711]

Ich habe nun mehrere Tage mit der freien Version von Grok-3 (Beta) von xAI gearbeitet.
Die Produktivität mit dieser KI ist deutlich besser als bei den anderen KI's, die ich bisher verwendetete.
Die Antworten kommen immer sehr schnell und auch die Qualitäten der Ergebnisse sind hervorragend.

[BastiFantasti]

@Dave4711: Kann man die Grok-3 Version auch in ollama betreiben oder nur Online

@fisipjm: Benutzt du VSCode dann nur für die KI Geschichten oder generell für die Delphientwicklung?

[Dave4711]

@BastiFantasti: Verwende Grok-3 (Beta) nur Online, da nur diese Version nichts kostet. Dies ist zum Testen vollkommen ausreichend. Laut API-Dokumentation benötigt man nur die URL und einen API-Key.
Habe Embarcadero im Zuge des Beta-Tests zum neuen Release den Hinweis gegeben, doch die Grok-API mit zu unterstützen. Ob dies noch im neuen Release aufgenommen wird, muss sich zeigen. Ist natürlich alles zu kurzfristig.

[BastiFantasti]

@Dave4711, danke für die schnelle Rückmeldung.