MMLU-Pro Überblick und Eckdaten (Oktober 2026)

MMLU-Pro ist ein Evaluationsdatensatz mit rund 12.000 schweren Multiple-Choice-Fragen aus vielen Fachgebieten. Teams vergleichen damit, wie gut Sprachmodelle schlussfolgern und Wissen abrufen.

MMLU-Pro erweitert den älteren Benchmark MMLU von vier auf zehn Antwortoptionen, das senkt die Trefferquote durch Raten. Die Fragen stammen aus Gebieten wie Mathematik, Recht, Gesundheit, Ingenieurwesen und Wirtschaft. Mehr als zehn Fachleute haben die Fragen geprüft, die Betreuer korrigieren laufend Fehler, zuletzt im Januar 2026. Das TIGER-Lab veröffentlicht die Daten unter MIT-Lizenz, dazu Code auf GitHub und eine Rangliste.

• Vergleicht ModellkandidatenBevor ein Modell für einen internen Assistenten gewählt wird, lassen Teams MMLU-Pro auf den Kandidaten laufen und vergleichen die Werte je Fachgebiet. Das gibt einen ersten Blick auf Wissen und Schlussfolgern jenseits von Anbieterangaben.
• Prüft angepasste Modelle auf RückschritteNach dem Feintuning mit Unternehmensdaten zeigt ein erneuter Lauf, ob Allgemeinwissen verloren ging. Teams erkennen Nebenwirkungen vor dem Einsatz. Der Vergleich der Werte je Fachgebiet zeigt, welche Bereiche durch das Feintuning gelitten haben. So lässt sich gezielt nachsteuern.
• Vergleicht Prompting-MethodenDie veröffentlichten Ergebnisse unterscheiden schrittweises Denken und direkte Antworten. Teams prüfen, ob sich schrittweises Prompting für ihr Modell trotz mehr Tokens lohnt. Längeres Denken erhöht die Kosten je Anfrage, die Antwort wirkt sich also direkt auf das Budget aus.

• Zehn statt vier Antwortoptionen verringern den Einfluss von Raten.
• Gepflegt mit öffentlichem Änderungsprotokoll korrigierter Fragen.

MMLU-Pro wird laut Kontaktangaben der Datensatzbeschreibung vom TIGER-Lab an der University of Waterloo in Kanada gepflegt.

Öffentliche Benchmark-Fragen können in Trainingsdaten von Modellen gelangt sein, hohe Werte überzeichnen dann die echte Leistung. Ergänzen Sie eigene, aufgabenbezogene Tests. Die Fragen sind englisch und sagen wenig über Leistung auf Deutsch. Vergleichen Sie Ergebnisse nur bei gleicher Prompt-Einrichtung. Für deutsche Aufgaben brauchen Sie ergänzende Tests.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen