OpenCompass Überblick und Eckdaten (Oktober 2026)

OpenCompass ist ein quelloffenes Werkzeug mit Rangliste zur Bewertung großer Sprach- und multimodaler Modelle. Teams lassen standardisierte Benchmarks auf eigenen oder fremden Modellen laufen und vergleichen die Ergebnisse.

OpenCompass 2.0 besteht aus drei Teilen: CompassKit, dem Bewertungswerkzeug auf GitHub, CompassHub, einem Katalog von Benchmarks, und CompassRank, Ranglisten für öffentliche und API-Modelle. Im Juli 2026 kamen die OpenAI Responses API, LiteLLM und aktualisierte Gemini- und Anthropic-SDKs hinzu, im August 2026 multimodale Bewertung über VLMEvalKit. Modellanbieter können ein Modell per E-Mail zur Bewertung einreichen. Das Werkzeug steht unter Apache 2.0.

• Bewertet eigene oder angepasste ModelleTeams lassen viele öffentliche Benchmarks mit einem Werkzeug auf einem selbst betriebenen oder verfeinerten Modell laufen. Das ersetzt eigene Skripte je Benchmark und macht Ergebnisse nachvollziehbar. Die Ergebnisse lassen sich mit der öffentlichen Rangliste vergleichen.
• Vergleicht API-ModelleÜber die Unterstützung der OpenAI Responses API und des LiteLLM-Gateways lassen sich kommerzielle Modelle mit derselben Einrichtung testen. Einkäufer vergleichen Anbieter an gleichen Aufgaben. Das hält Vergleiche fair und wiederholbar, da jedes Modell dieselben Prompts und dieselbe Bewertung erhält.
• Testet multimodale ModelleDie Anbindung von VLMEvalKit ergänzt Bild- und Dokument-Benchmarks wie MMBench und MMMU-Pro. Teams, die Dokument- oder Bildverarbeitung planen, prüfen Modelle an diesen Aufgaben. Bewertet wird mit den offiziellen Kennzahlen von VLMEvalKit.

• Werkzeug, Benchmark-Katalog und Rangliste aus einem Projekt.
• Starke Abdeckung chinesischsprachiger Benchmarks neben englischen.

OpenCompass wird von einem Team entwickelt, das über die Domain pjlab.org.cn des Shanghai AI Laboratory erreichbar ist; die Website läuft unter einer .cn-Domain mit chinesischer Oberfläche.

Eigene Evaluationen brauchen je nach Modell GPU-Kapazität oder API-Budget. Mit Version 0.4.0 wanderten die Konfigurationsdateien ins Paket, prüfen Sie ältere Einrichtungen auf Verträglichkeit. Teile der Dokumentation und der Website sind vor allem chinesisch. Planen Sie dafür Zeit für die Einarbeitung ein.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen