Hallo,
ich versuche gerade Ollama für die Nutzung in der 12.3
IDE einzurichten.
Nur leider klappt es noch nicht wie es soll.
Was wurde gemacht?
1. Ollama wurde auf dem Host installiert. Es hat auch irgend ein Modell heruntergeladen.
2. Aus einer cmd.exe shell kann ich es ausführen: ollama run llama3.2:latest
3. Dann kann ich aus dieser heraus befragen
4. Es hat auch ein Systray Icon.
5. Ich habe eine Regel für die Windows Firewall angelegt und Port 11434 mal weitestgehend freigegeben.
6. Jetzt habe ich in den Netzwerkeinstellungen der VM Ware Workstation VM ein Bridged Netzwerk hinzugefügt
und als das aktive definiert. Aus der VM heraus kann ich den Host mittels seiner
IP anpingen.
7. Dann Delphi 12.3 gestartet und nach Tools/Optionen/
IDE/Smart CodeInsight gegangen.
8. Hier das ganze für Editor und Chat Fenster auf Ollama gesetzt und generell aktiviert.
9. Auf dem Ollama Reiter diese BaseURL eingetragen:
http://192.168.5.132:11434
10. Nun versucht das Modell zu laden, dazu die ComboBox aufgeklappt. Er sucht nach verfügbaren Modellen.
Kommt aber nur in einen Timeout und findet keines.
Die Schutzsteuerung des auf dem Host installierten Avast Virenscanners hab' ich mal ausgeschaltet.
Woran könnte es noch liegen, dass er keine Modelle findet? Ja, vermutlich bekommt er keine Verbindung
zu diesem Port. Und gebe ich in einem 2. cmd.exe Fenster auf dem Host "Ollama ps" ein, findet dieses
keine laufenden Modelle, obwohl im anderen Konsolenfenster noch das Modell läuft und befragt werden kann.