Ollama zum Laufen bekommen

[TurboMagic]

Hallo,

ich versuche gerade Ollama für die Nutzung in der 12.3 IDE einzurichten.
Nur leider klappt es noch nicht wie es soll.

Was wurde gemacht?

1. Ollama wurde auf dem Host installiert. Es hat auch irgend ein Modell heruntergeladen.

2. Aus einer cmd.exe shell kann ich es ausführen: ollama run llama3.2:latest

3. Dann kann ich aus dieser heraus befragen

4. Es hat auch ein Systray Icon.

5. Ich habe eine Regel für die Windows Firewall angelegt und Port 11434 mal weitestgehend freigegeben.

6. Jetzt habe ich in den Netzwerkeinstellungen der VM Ware Workstation VM ein Bridged Netzwerk hinzugefügt
und als das aktive definiert. Aus der VM heraus kann ich den Host mittels seiner IP anpingen.

7. Dann Delphi 12.3 gestartet und nach Tools/Optionen/IDE/Smart CodeInsight gegangen.

8. Hier das ganze für Editor und Chat Fenster auf Ollama gesetzt und generell aktiviert.

9. Auf dem Ollama Reiter diese BaseURL eingetragen: http://192.168.5.132:11434

10. Nun versucht das Modell zu laden, dazu die ComboBox aufgeklappt. Er sucht nach verfügbaren Modellen.
Kommt aber nur in einen Timeout und findet keines.

Die Schutzsteuerung des auf dem Host installierten Avast Virenscanners hab' ich mal ausgeschaltet.
Woran könnte es noch liegen, dass er keine Modelle findet? Ja, vermutlich bekommt er keine Verbindung
zu diesem Port. Und gebe ich in einem 2. cmd.exe Fenster auf dem Host "Ollama ps" ein, findet dieses
keine laufenden Modelle, obwohl im anderen Konsolenfenster noch das Modell läuft und befragt werden kann.

[TomyN]

Probier's mal ohne http://

[jaenicke]

Zitat von TurboMagic:

2. Aus einer cmd.exe shell kann ich es ausführen: ollama run llama3.2:latest

Hast du "ollama serve" aufgerufen, um den Server zu starten?

Du kannst ja mal "curl http://192.168.5.132:11434/api/tags" versuchen, um zu schauen, ob der Server da ist.

Zitat von TurboMagic:

10. Nun versucht das Modell zu laden, dazu die ComboBox aufgeklappt. Er sucht nach verfügbaren Modellen.
Kommt aber nur in einen Timeout und findet keines.

Wird denn das Modell mit "ollama list" angezeigt? Wenn nicht, kannst du es mit "ollama pull llama3.2" noch einmal abrufen. Dann sollte es auch mit "ollama ps" angezeigt werden.

[TurboMagic]

Hallo,

danke für die Tipps.
Werde mir die baldmöglichst mal anschauen.

Muss das mit dem Serve mal anschauen, kann sein, dass ich es bisher immer mit Run ausgeführt habe.
Aber: es ist im Autostart vom Taskmanager. Da wäre run statt serve ja wohl nicht wirklich sinnvoll?

[milos]

Du kannst entweder durch die Ollama.exe oder ollama serve den Server starten. Mmn kannt du aber sowieso kein ollama run ausführen wenn der Server nicht läuft, der müsste also laufen.

Du könntest auf dem Host mit netstat -ano mal schauen ob der Port wirklich offen ist. Da du nicht über localhost zugreifst, muss der port entweder auf 0.0.0.0 oder auf die IP Adresse des hosts gebindet werden. Ansonsten sind nur Verbindungen über exakt "localhost:11434" oder "127.0.0.1:11434" erlaubt.

Ich bin gerade nicht sicher wie man den host bei Ollama anpasst, müsste eine Umgebungsvariable OLLAMA_HOST sein wenn ich mich nicht irre. Im Ollama repo findet man dazu infos.

Freundliche Grüsse
Milos

[jaenicke]

Das kannst du glaube ich direkt angeben:
ollama serve --host 0.0.0.0
Damit wird auf allen IPs gelauscht.