Zitat von
TBx:
Ich wollte hierzu nochmal etwas nachtragen:
Ich musste mir notgedrungen einen MacMini mit M2 Pro ARM (16GB, 512GB) anschaffen, nicht nur wegen KI.
Der ist gestern angekommen und ich habe den gestern noch eingerichtet und als erstes mal Ollama und WebUI per Docker ausprobiert.
Ich kann sagen, dass es mit dem llama3 8B Modell, was nur 4.7GB groß ist, läuft es fast so schnell wie ChatGPT, marginal langsamer.
MacMini M2 Pro ist deswegen interessant, weil es eine Menge Vorteile hat:
- ist noch relativ günstig
- hat eine kleine NeuralEngine
- hat eine relativ starke GPU
- hat sehr wenig Stromverbrauch, ich meine gelesen zu haben im Leerlauf nur um die 3W und max. um die 55W
- kann per RemoteAccess gesteuert werden und kann sehr gut als separater Server permanent läufen (nicht nur KI)
- zum Einrichten braucht man Monitor, Keyboard, Maus, danach läuft er aber komplett headless über VNC, wenn man will
Größere Modelle brechen dann aber stark ein und sind nicht mehr nutzbar, aber llama3 ist angeblich auch das beste, kompakte Modell aktuell.
Es gibt natürlich auch stärkere MacMini, aber die haben alle nur den gleichen NeuralEngine,
auf die nächste Generation mit M4 hätte ich gerne gewartet, konnte ich aber nicht mehr.
Vergleicht man damit jede andere Intel KI Lösung, kommt man da viel schlechter weg.
(Gerne ein paar Kommentare, falls da jemand eine andere Eierlegenden Wollmilchsau hat
).
Ehrlicherweise bricht die Leistung bei etwas größeren Modellen aber extrem ein.
Nebenbei bemerkt, auch die Delphi-Mobile Entwicklung lief damit (fast) sofort, meine alte Intel-Workstation ist wohl über die Jahre etwas verwildert, obwohl ich die ausschließlich für Delphi nutze.
Aber Wechsel von .bash zu zsh, Wechsel von VmWare zu Parallels und auch die schlechter werdende Unterstützung seit M1 bei Apple haben wohl Spuren hinterlassen.
Man muss halt leider bei Apple viel öfters mal was Neues kaufen als bei Wintel.
Ich bin wahrlich kein Apple-Jünger und liege aktuell mit deren Preispolitik eher quer,
aber ich muss sagen der MacMini scheint das einzige Produkt von Apple, wo der Preis/Leistung einigermaßen stimmt,
aus meiner Sicht.