Einzelnen Beitrag anzeigen

Dave4711

Registriert seit: 31. Jan 2025
 
#46

AW: KI-gestützte Entwicklung in RAD Studio 12.2

  Alt 6. Feb 2025, 12:05
Das Ausgabeverhalten über die API im RAD-Studio ist anders, als wenn ich mit der offizielle Deepseek-WebPage über einem Browser arbeitet. Beim Browser kann man die KI beim Denken zusehen, wenn man es möchte. Die Ausgabe erfolgt dann wie beim Telegraphen. Man kann den Text sofort direkt mitlesen. Die Zeit wird vollständig genutzt.
Bei der API erfolgt die Ausgabe komplett erst nach Durchlauf der ganzen KI-Prozesse. Die Gesamtlaufzeiten sind dabei ungefähr gleich. Gefühlt ist die API langsamer, weil man einige Zeit einfach nur wartet. Dies empfinde ich als nervig. Dies wird wohl auch bei der nächsten RAD-Studio nicht anders sein, da sie voll auf die API setzt.
Ich verwende, wie schon beschrieben, ein lokales "Deepseek-R1:70B"-Modell in "Ollama" auf einem "MacBook mit M3 Max und 64GB Speicher". Zusätzlich habe ich Pinokio und darin "Open WebUI" auf dem Mac installiert. "Open WebUI" läuft als Service ("Configure: Local Sharing"). Damit kann ich von jeden Rechner im lokalen Netz über einen Browser auf Deepseek zugreifen ("http://macbook:42004/"). Das Ausgabeverhalten ist nun identisch, wie wenn ich mit der offizielle Deepseek-WebPage arbeite.
Für mich ist dies die komfortabelste Arbeitsweise mit der lokalen Deepseek-Installation, obwohl ich Texte hin und her kopiere. Die Zeit wird vollständig genutzt ohne nervige Wartezeiten.
  Mit Zitat antworten Zitat