KI-Engine auf eigener Hardware nutzen

[Rollo62]

Zitat von TBx:

Hinweis: Dieser Thread wurde von diesem Thread abgetrennt.

Ich wollte hierzu nochmal etwas nachtragen:

Ich musste mir notgedrungen einen MacMini mit M2 Pro ARM (16GB, 512GB) anschaffen, nicht nur wegen KI.

Der ist gestern angekommen und ich habe den gestern noch eingerichtet und als erstes mal Ollama und WebUI per Docker ausprobiert.
Ich kann sagen, dass es mit dem llama3 8B Modell, was nur 4.7GB groß ist, läuft es fast so schnell wie ChatGPT, marginal langsamer.

MacMini M2 Pro ist deswegen interessant, weil es eine Menge Vorteile hat:
- ist noch relativ günstig
- hat eine kleine NeuralEngine
- hat eine relativ starke GPU
- hat sehr wenig Stromverbrauch, ich meine gelesen zu haben im Leerlauf nur um die 3W und max. um die 55W
- kann per RemoteAccess gesteuert werden und kann sehr gut als separater Server permanent läufen (nicht nur KI)
- zum Einrichten braucht man Monitor, Keyboard, Maus, danach läuft er aber komplett headless über VNC, wenn man will

Größere Modelle brechen dann aber stark ein und sind nicht mehr nutzbar, aber llama3 ist angeblich auch das beste, kompakte Modell aktuell.
Es gibt natürlich auch stärkere MacMini, aber die haben alle nur den gleichen NeuralEngine,
auf die nächste Generation mit M4 hätte ich gerne gewartet, konnte ich aber nicht mehr.

Vergleicht man damit jede andere Intel KI Lösung, kommt man da viel schlechter weg.
(Gerne ein paar Kommentare, falls da jemand eine andere Eierlegenden Wollmilchsau hat ).

Ehrlicherweise bricht die Leistung bei etwas größeren Modellen aber extrem ein.

Nebenbei bemerkt, auch die Delphi-Mobile Entwicklung lief damit (fast) sofort, meine alte Intel-Workstation ist wohl über die Jahre etwas verwildert, obwohl ich die ausschließlich für Delphi nutze.
Aber Wechsel von .bash zu zsh, Wechsel von VmWare zu Parallels und auch die schlechter werdende Unterstützung seit M1 bei Apple haben wohl Spuren hinterlassen.
Man muss halt leider bei Apple viel öfters mal was Neues kaufen als bei Wintel.

Ich bin wahrlich kein Apple-Jünger und liege aktuell mit deren Preispolitik eher quer,
aber ich muss sagen der MacMini scheint das einzige Produkt von Apple, wo der Preis/Leistung einigermaßen stimmt,
aus meiner Sicht.

[himitsu]

Es gibt auch Windows-Schlepptops mit ARM und KI-Chip ... sogar mit einer neuen KI-Taste.

[Rollo62]

Ok, du meinst jetzt die neuen surface von Microsoft. Sind die denn günstiger?
Laptop als Server hatte ich auch angedacht, war aber wesentlich teurer.

[himitsu]

auch ASUS (Vivobook S-Series, irgendwelche NUC, ...)
und wer weiß wo noch

[add]
https://www.it-business.de/schnelle-...37d29f80289f1/
https://www.youtube.com/shorts/N-fAQ_DGpuc (Achtung, könnte nervig werden)

Zitat von ASUS:

Dedizierte Copilot Taste für bessere AI Erfahrung

Und ob ich mir da ein OLED antun wöllte?
https://www.delphipraxis.net/215371-...-monitore.html

[Phoenix]

Das wird jetzt etwas offtopic. Vielleicht starten wir die Copilot+ PC-Thematik lieber nochmal in einem separaten Thread neu?

[Rollo62]

Zitat von Phoenix:

Das wird jetzt etwas offtopic. Vielleicht starten wir die Copilot+ PC-Thematik lieber nochmal in einem separaten Thread neu?

Was genau meinst Du jetzt?
Die Suche nach der richtigen KI und/oder remote oder lokalem Server und der Performance ist doch entscheidend.
https://www.youtube.com/watch?v=O5ojRuiYRGY

Mit Ollama hat man so gut wie alle Möglichkeiten was in eigene, lokale Anwendungen zu integrieren,
oder man lässt es mit RunPod in einer GPU-Cloud laufen.

Will man KI in der App, dann gibt es mittlerweile zig Cloud-Anbieter und zig Möglichkeiten.

Ich sehe das jetzt nicht unbedingt als OffTopic.
Die offene Frage wäre vielleicht, ob die App intern oder extern geschäftlich genutzt werden soll, oder sogar eine eigene Serveranwendung ist, so ganz klar ist mir das noch nicht.

[TBx]

Ich sehe das wie Sebastian, die Hardware ist ein separates Thema. Dieses ist sicherlich genauso spannend.
Der Thread wurde daher aufgespalten.