GPUStack KI-Funktionen, Kosten und Datenschutz (Oktober 2026)

GPUStack ist ein Open-Source-Manager für GPU-Cluster, mit dem KI-Modelle bereitgestellt werden. IT- und Plattformteams betreiben damit LLMs und andere Modelle auf eigenen GPU-Servern, Kubernetes-Clustern oder Cloud-GPUs und stellen sie über Standard-APIs bereit. Eine Enterprise Edition ergänzt Governance-Funktionen.

Die Plattform hat zwei Teile: Model as a Service zum Bereitstellen, Routen und Überwachen von Modellen sowie GPU as a Service für GPU-Instanzen mit SSH- oder Jupyter-Zugang und S3- oder NFS-Speicher. Dazu kommen ein Playground, ein Modellkatalog, API-Schlüssel mit Kontingenten und Dashboards mit Grafana und Prometheus. Modelle stammen von Hugging Face, ModelScope oder aus lokalen Dateien, unterstützt werden unter anderem NVIDIA, AMD, Ascend und weitere Beschleuniger. Die Installation läuft über Docker oder Helm, auch ohne Internetzugang. Betreiber ist die GPUStack Co., Ltd., ein Team braucht eine Fachkraft für Linux, Docker oder Kubernetes.

• Offene Modelle auf eigenen GPUs bereitstellenModelle von Hugging Face oder ModelScope werden als Endpunkte mit OpenAI- oder Anthropic-kompatibler API bereitgestellt. Interne Anwendungen, Chat-Oberflächen und Coding-Werkzeuge rufen dann Modelle auf, die auf Firmenhardware laufen. Prompts müssen so nicht an einen externen Anbieter gehen.
• Inferenz-Engine auswählen und abstimmenDer Scheduler ordnet jedes Modell einer passenden Engine-Version wie vLLM, SGLang oder llama.cpp zu und prüft, ob sie zu den GPUs passt. Die Modi Durchsatz, Latenz und Standard setzen Engine-Parameter voreingestellt, sodass Plattformteams weniger Zeit mit manueller Abstimmung verbringen.
• Große Modelle auf mehrere Knoten verteilenGroße Modelle lassen sich mit Tensor- und Pipeline-Parallelität auf mehrere GPUs und Knoten verteilen, auch in Ray-basierten vLLM-Clustern. So kann ein Team Modelle betreiben, die kein einzelner Server fasst, und nutzt dafür die GPUs, die es bereits besitzt.
• Modell-Traffic routen und messenModell-Routen verteilen Last, wiederholen Anfragen und weichen auf andere Deployments aus, auch auf öffentliche Anbieter wie OpenAI oder Claude. Die Nutzung wird je Nutzer, Schlüssel und Modell gemessen, mit Token-Kontingenten, was die interne Kostenverteilung unterstützt.

• Unterstützt viele Beschleuniger-Typen in einer Plattform, darunter NVIDIA, AMD, Ascend, Hygon, MetaX, Moore Threads und Cambricon.
• Open Source unter Apache License 2.0, dazu eine getrennte Enterprise Edition mit Hochverfügbarkeit, Mandantenfähigkeit, Audit-Logs und White-Label-Branding.
• Eine Installation ohne Internetzugang ist dokumentiert, und laut Datenschutzerklärung lässt sich die Telemetrie vor oder während des Betriebs abschalten.
• Stellt auch GPU-Instanzen mit SSH- oder Jupyter-Zugang bereit, sodass eine Steuerungsebene Modell-Serving und die Vermietung von GPU-Zeit abdeckt.

Die Datenschutzerklärung nennt die GPUStack Co., Ltd. als Betreiber und erklärt, dass in der Volksrepublik China erhobene Daten dort gespeichert werden. China ist damit der belegte Heimatmarkt, die Software läuft überall, wo Kunden sie installieren.

GPUStack läuft in Ihrer eigenen Umgebung, sodass Prompts und Modelldaten auf Ihrer Hardware bleiben. Prüfen Sie die gesendete Telemetrie, die sich laut Datenschutzerklärung abschalten lässt. Klären Sie, welche Governance-Funktionen zur Enterprise Edition gehören, denn die Preise gibt es auf Anfrage. Die Datenschutzerklärung verweist auf chinesisches Recht für Daten aus der Volksrepublik China. Einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO veröffentlicht der Anbieter nicht, fragen Sie ihn bei Konto- oder Supportdaten an.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen