Ollama zum Laufen bekommen

[milos]

Du kannst entweder durch die Ollama.exe oder ollama serve den Server starten. Mmn kannt du aber sowieso kein ollama run ausführen wenn der Server nicht läuft, der müsste also laufen.

Du könntest auf dem Host mit netstat -ano mal schauen ob der Port wirklich offen ist. Da du nicht über localhost zugreifst, muss der port entweder auf 0.0.0.0 oder auf die IP Adresse des hosts gebindet werden. Ansonsten sind nur Verbindungen über exakt "localhost:11434" oder "127.0.0.1:11434" erlaubt.

Ich bin gerade nicht sicher wie man den host bei Ollama anpasst, müsste eine Umgebungsvariable OLLAMA_HOST sein wenn ich mich nicht irre. Im Ollama repo findet man dazu infos.

Freundliche Grüsse
Milos

[jaenicke]

Das kannst du glaube ich direkt angeben:
ollama serve --host 0.0.0.0
Damit wird auf allen IPs gelauscht.