Xinference Überblick und Eckdaten (Oktober 2026)

Xinference ist eine quelloffene Plattform von Xorbits für den Betrieb offener Modelle. Sie führt Sprach-, Embedding-, Rerank-, Bild-, Audio- und Videomodelle im eigenen Rechenzentrum oder in der Cloud aus und stellt sie über eine zu OpenAI kompatible API bereit.

Xinference bündelt mehrere Inferenz-Backends, darunter vLLM, SGLang und llama.cpp, und ergänzt eine Modellverwaltung, eine Weboberfläche, eine Kommandozeile und verteilten Betrieb über mehrere Rechner. Es arbeitet mit Frameworks wie LangChain und Dify zusammen. Xorbits, dessen GitHub-Organisation Singapur als Standort nennt, bietet neben der Community-Version unter Apache 2.0 eine Enterprise-Version an. Die GitHub-API zeigte rund 9.600 Sterne und eine Änderung am 28. September 2026.

• Betreibt alle RAG-Modelle im HausNeben Chat-Modellen stellt Xinference Embedding- und Rerank-Modelle bereit, die Bausteine von Retrieval-Augmented Generation (Antworten auf Basis eigener Dokumente). Teams können so jedes Modell für eine Dokumentensuche auf eigenen Servern betreiben.
• Wechselt Modelle hinter einer APIAnwendungen rufen eine zu OpenAI kompatible Adresse auf, die Administration tauscht das Modell dahinter. Entwicklerteams vergleichen offene Modelle, ohne den Integrationscode neu zu schreiben.
• Ergänzt Sprach-, Bild- und OCR-ModelleLaut Dokumentation und Projektbeschreibung stellt die Plattform auch Audio-, Bild-, Video- und OCR-Modelle bereit. Eine Installation deckt so neben Chat auch Transkription oder das Lesen von Dokumenten ab.

• Steuert mehrere Inferenz-Engines (vLLM, SGLang, llama.cpp), statt eine eigene zu bauen.
• Deckt neben Chat-Modellen auch Embedding- und Rerank-Modelle ab, mit fertigen Anbindungen an LangChain und Dify.

Quelloffene Software ohne Länderbindung, die im eigenen Rechenzentrum oder in jeder Cloud läuft.

Klären Sie, ob die Community-Version reicht oder ob Sie die Enterprise-Version brauchen, deren Funktionen und Preis nur auf Anfrage genannt werden. Der Eigenbetrieb erfordert GPU-Kapazität und Personal für Updates und Überwachung. Prüfen Sie die Lizenz jedes Modells, vor allem für kommerzielle Nutzung.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen