Den Hauptvorteil der lokalen LLMs sehe ich eher darin, dass man damit auch vertrauliche Daten und Dokumente analysieren kann.
Da ist dann zum einen die Frage, wie vertraulich die Daten sind.
Wenn ich die aus einem Azure Storage runterlade, um sie dann lokal ans LLM zu geben und die Ergebnisse dann wieder in mein Cloud-RZ hochlade, kann ich auch gleich ein starkes LLM auf Azure mieten.
Sind die Daten in der Tat so vertraulich, dass sie unter gar keinen Umständen aus dem eigenen RZ raus dürfen, auf das dann auch etliche Security-Engineers 24/7 aufpassen (weil wenn man die nicht hat sind die Daten dort defakto nicht annähernd so sicher, wie man es sich vorstellt - und dann wäre eine Cloud definitiv der besser geschützte Platz), dann sollte ein kleiner A100 Cluster Preistechnisch auch aus der Portokasse bezahlbar sein
Andernfalls geht das zwar prinzipiell auch, aber dann muss man halt unter umständen seeeehr viel Geduld mitbringen, weil das durcharbeiten von vielen Tokens dann auch viel Zeit braucht.