LiteLLM Überblick und Eckdaten (Oktober 2026)

LiteLLM ist ein Open-Source-Python-SDK und ein selbst betriebenes KI-Gateway, über das Entwickler mehr als 100 Sprachmodelle mit einer Schnittstelle im OpenAI-Stil aufrufen. IT-Teams steuern über den Proxy Schlüssel, Budgets und Kosten für den gesamten Modellzugriff im Unternehmen.

Das Projekt besteht aus einer Python-Bibliothek und einem Proxy-Server für Anbieter wie OpenAI, Anthropic, Vertex AI und Bedrock. Entwickelt wird es von BerriAI, einem Unternehmen aus dem Programm Y Combinator. Das Repository hatte am 28. September 2026 rund 59.800 Sterne, der letzte Push war am selben Tag. Eine Enterprise-Fassung ergänzt Single Sign-on, Audit-Logs und Support mit Reaktionszeiten.

• Modelle ohne Codeänderung wechselnAnwendungen rufen jedes Modell über dieselbe Schnittstelle auf und erhalten dasselbe Ausgabeformat. Teams wechseln Anbieter oder testen neue Modelle, ohne Integrationen neu zu schreiben.
• Dienste bei Ausfällen am Laufen haltenWiederholungen, Ausweichmodelle und Lastverteilung leiten Anfragen um, wenn ein Anbieter ausfällt. Interne KI-Dienste bleiben erreichbar.
• Ausgaben je Team steuernVirtuelle Schlüssel tragen Budgets je Schlüssel, Team oder Person, der Proxy erfasst die Kosten. Controlling und IT sehen, wer welches Modell nutzt, und können Überschreitungen stoppen.

• Läuft vollständig auf eigener Infrastruktur, in der Enterprise-Fassung auch ohne Internetverbindung.
• Der Open-Source-Kern steht unter MIT-Lizenz, Enterprise-Funktionen liegen in einem gesondert lizenzierten Verzeichnis.

LiteLLM ist ein Open-Source-Projekt von BerriAI und weltweit ohne Länderbindung selbst betreibbar.

Sie betreiben das Gateway selbst. Planen Sie Hosting, Updates und Überwachung ein. Prüfen Sie, welche Funktionen aus dem Enterprise-Verzeichnis Sie brauchen, denn Single Sign-on und Audit-Logs sind gesondert lizenziert. Das Gateway sieht jede Eingabe, behandeln Sie die Protokolle daher als sensible Daten. Werten Sie Nutzung je Person aus, ist in Deutschland der Betriebsrat nach § 87 Abs. 1 Nr. 6 BetrVG zu beteiligen.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen