LiveBench Überblick und Eckdaten (Oktober 2026)

LiveBench ist ein offener Benchmark für Sprachmodelle, der die Verunreinigung von Testdaten begrenzen soll. Er ergänzt regelmäßig neue Fragen und bewertet Antworten automatisch gegen objektive Lösungen.

LiveBench veröffentlicht nach und nach neue Fragen und stützt andere auf kürzlich erschienene Datensätze, arXiv-Paper, Nachrichtenartikel und Filmzusammenfassungen. Jede Frage hat eine überprüfbare Antwort, schwere Fragen lassen sich so ohne Sprachmodell als Richter bewerten. Der Benchmark umfasst mehrere Aufgabenkategorien, darunter Programmieren und agentisches Programmieren mit Docker. Er war Spotlight-Paper auf der ICLR 2025, die Rangliste steht auf livebench.ai, die Lizenzdatei des Repositorys enthält die Apache License 2.0.

• Vergleicht Modelle an frischen FragenDa die Fragen erneuert werden, verzerren Modelle, die den Test im Training gesehen haben, die Werte weniger. Teams erhalten einen aktuelleren Vergleich als mit älteren, festen Benchmarks. Die Werte bleiben länger aussagekräftig.
• Läuft auf eigenen EndpunktenDer Code ruft jedes Modell hinter einer OpenAI-kompatiblen API auf. IT-Teams testen so ein selbst betriebenes oder verfeinertes Modell mit denselben Fragen wie die öffentliche Rangliste. Die Ergebnisse sind direkt vergleichbar.
• Prüft Coding-AgentenAgentische Programmieraufgaben laufen in Docker und werden automatisch bewertet. Entwicklungsteams sehen, wie gut ein Modell Codeaufgaben von Anfang bis Ende erledigt. Docker muss installiert sein, das Werkzeug prüft das vor dem Start dieser Aufgaben.

• Bewertung gegen objektive Antworten ohne Sprachmodell als Richter.
• Regelmäßig erneuerte Fragen gegen Verunreinigung durch Trainingsdaten.

LiveBench ist ein offener Benchmark mit öffentlicher Rangliste, der weltweit genutzt wird.

Ein voller Lauf kostet für jedes getestete Modell API-Tokens, agentische Programmieraufgaben brauchen Docker. Laut README wird lokale Modellausführung nicht mehr gepflegt, stellen Sie lokale Modelle daher hinter eine OpenAI-kompatible API. Die Fragen sind englisch. Planen Sie das API-Budget vorab und legen Sie fest, welche Modelle Sie testen.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen