Programme bzw. Funktionen von KI schreiben lassen (OpenAI)

[Phoenix]

Um das besser einzuordnen muss man verstehen wie diese Modelle funktionieren.

Es sind zum ersten "nur" Sprachmodelle. Die können ungeheuer gut Sprache verstehen und produzieren. Dazu zählen vor allem auch Programmiersprachen, da diese im Gegensatz zu natürlicher Menschlicher Sprache super primitiv sind (ganz wenig Schlüsselworte, sehr einfache und strikte Syntax ohne viele Ausnahmen).
Kurzum: Das ding wird dir zu nahezu 100% immer syntaktisch richtigen Code produzieren.

Was den Inhalt angeht, der mit der Sprache ausgedrückt wird, da wird es komplizierter. Am Ende ist ein neuronales Netzwerk ja nur in Daten gegossene Wahrscheinlichkeitsrechnung.

Hier ist das Modell darauf trainiert, basierend auf dem Input eine Antwort zu generieren, die zu einem hoffentlich möglichst hohen Prozentwert plausibel ist.
Falls diese Antwort in den Trainingsdaten war, dann besteht zudem eine sehr hohe Chance, dass die Antwort nicht nur plausibel sondern auch in der Tat korrekt ist. Ist die Antwort nicht in den Trainingsdaten enthalten, dann sinkt die Wahrscheinlichkeit einer korrekten Antwort entsprechend.

Selber rechnen oder (leise) zählen können die Modelle nicht. Also so gar nicht. "Schreibe mir 100 Wörter" wird maximal zufällig auch wirklich 100 Wörter liefern.
Was funktioniert ist "Gib mir 10 Punkte", weil das Modell dann "Laut" zählt und eine Liste mit 1., 2. etc. bis 10. produziert. Das klappt schon nicht mehr wenn Du sagst: Nicht nummerieren, sondern nur * vorne dran schreiben - und schon weiss das Modell nicht mehr, wie viel es schon gemacht hat oder noch machen muss. Deswegen hat ChatGPT auch jetzt den Code-Interpreter (bzw. Advanced Data Analysis)-Modus. Hier kann ChatGPT Python-Code schreiben der die Berechnung durchführt, diesen ausführen lassen und dann das Ergebnis verwenden. Das ist dann nicht nur plausibel sondern korrekt.

Wie jetzt genau die Indy-API aussieht, kennt das Modell auch eher nicht in- und auswendig. Daher wird es versuchen Funktionen aufzurufen, die plausibel klingen - auch wenn es sie nicht gibt. Wenn Du dem Modell die API allerdings im Kontext mitlieferst, und ihm sagst benutzte nur diese Funktionen, dann steigt die Wahrscheinlichkeit dass das was rauskommt auch funktioniert massiv an.

Kurzum: Das Modell entspricht einer Horde an Azubis und Praktikanten mit den unterschiedlichsten Fähigkeitsleveln. Du gibst eine Aufgabe rein, und irgendjemand aus der Menge wird die abarbeiten. Du weisst nicht wer. Klar muss man das noch überprüfen.

Auch klar: Je besser Du beschreibst was Du willst, und je mehr sinnvollen Kontext (wie eine API-Beschreibung) Du dazu gibst, desto besser wird das Ergebnis werden (oder andersrum: gibst Du Mist rein, kommt wahrscheinlich auch Mist raus). Um eine möglichst sinnvolle Anforderung reinzugeben, muss man je nach Modell eben auch unterschiedliches Prompt-Engineering betreiben.

[Andreas13]

Hallo,
meine Erfahrung mit ChatGPT war bisher eher negativ. Folgende Versuche hatte ich gehabt:

1. Verfahrenstechnik
Zu einem Thema der Mischphasen-Thermodynamik (Dampf-Flüssigkeit-Gleichgewichte) bekam ich auf meine konkreten Anfragen von ChatGPT vollkommen falsche Gleichungen, nicht existierende Literaturstellen (mit genauen Seitenangeben!) etc.. Auch der Versuch, eine komplexere Formel in Delphi umzusetzen schlug fehl. Allerdings haben mich ChatGPT’s falsche Antworten schließlich zur korrekten Lösung gebracht. Unter dem Strich hat er mir indirekt doch geholfen.


2. Python to Delphi Translation
3. MATLAB to Delphi Translation

In beiden Fällen ist ChatGPT an den kompakten und sehr konzentrierten Befehlen von Python und vor allem MATLAB gescheitert.

„Unsere“ Korrespondenz umfaßte im Falle von Python to Delphi Translation 234 Seiten in Word, im Falle von MATLAB „nur“ 67 Seiten, bevor ich den erfolglosen Versuch entnervt abbrach. Die jeweiligen Vorschläge konnten z. T. nicht einmal kompiliert werden, in anderen Fällen gab es massenweise RangeCheck-Exceptions, weil ChatGPT mit der komplizierten Indizierung mehrdimensionale Matrizen nicht klarkam... Auch ich konnte seinen Code leider nicht bereinigen, weil ich manche Konstrukte von Python & MATLAB nicht verstanden habe.

Selbst für einen zwar nur 7 Zeilen umfassenden, aber konzentrierten MATLAB-Code (mit konkreten Zahlenwerten) hat er 3 verschiedene, ausführlich erklärte Lösungen mit vollkommen unterschiedlichen Ergebnissen geliefert und sich nach meinen Rückfragen und Zweifeln stets entschuldigt und „verbessert“. Es kam zu keinem brauchbaren Ergebnis und ich mußte mir woanders (ResearchGate) von fachkundigen Kollegen helfen lassen.

ChatGPT‘s Lösungen zu Python und MATLAB konnte ich daher leider nicht verwenden, habe jedoch 2-3 Wochen an Zeit verplempert...

Fazit: Natürliche Intelligenz ist meistens besser als künstliche...

[himitsu]

Hier wird es öfters mal auf Postgres angewendet,
sowohl "sag mir was dieses Statement macht", also auch "schreib mir Eines, was das und das macht".

Es stimmt nicht immer, aber dennoch liefert es erstaunlich gute Ergebnisse.

[Harry Stahl]

Zitat von dummzeuch:

Verwendest Du das kostenlose chatGPT oder die Bezahlversion?
Nach meinen ziemlich enttäuschenden Erfahrungen mit der kostenlosen Version habe ich da schon seit einiger Zeit nicht mehr reingeschaut, aber das hört sich jetzt ja sogar brauchbar an.

Ich habe vor einigen Monaten meine Google Werbung gekündigt und statt dessen mir den kommerziellen Zugang geholt. D.h. ich habe die aktuelle Version ChatGPT 4 und alle Tools die es inzwischen für ChatGPT gibt.

Aus meiner Sicht hat sich das bislang absolut gelohnt.

[Harry Stahl]

Zitat von Phoenix:

U
Auch klar: Je besser Du beschreibst was Du willst, und je mehr sinnvollen Kontext (wie eine API-Beschreibung) Du dazu gibst, desto besser wird das Ergebnis werden (oder andersrum: gibst Du Mist rein, kommt wahrscheinlich auch Mist raus). Um eine möglichst sinnvolle Anforderung reinzugeben, muss man je nach Modell eben auch unterschiedliches Prompt-Engineering betreiben.

Das kann ich sehr bestätigen. Die Qualität der Antwort hängt sehr stark von der Klarheit der Frage und den mitgegebenen Details ab. Aber wenn man da einmal den Dreh raus hat, funktioniert das schon recht gut. Auch von Interesse ist die ungeheuer große Datenbank an Wissen, die da zur Verfügung steht. Google-Abfragen sind echt oft weniger hilfreich, da der Kontext nicht so einfach herzustellen ist.

Bei ChatGPT git es z.B auf die Bitte, für gesuchte Unicode-Symbole ausgegebene Hex-Werte in Integerwerten auszugeben, eine prompte Lieferung (siehe Screenshot in Anlage). ChatGPT ist inzwischen ein Super Assisstent für kleine Handlanger-Dienste, die mir echt Zeit und Arbeit ersparen.