GSM8K Überblick und Eckdaten (Oktober 2026)

GSM8K ist ein verbreiteter Evaluationsdatensatz mit 8.500 englischen Textaufgaben auf Schulniveau. Er prüft, ob ein Sprachmodell mehrere Rechenschritte hintereinander sauber durchdenkt.

Der Datensatz umfasst 7.473 Trainings- und 1.319 Testaufgaben in zwei Varianten: main und socratic, die zusätzlich leitende Zwischenfragen enthält. Die ersten Aufgaben schrieben freie Auftragnehmer, erweitert wurde der Bestand mit der Annotationsplattform Surge AI. Jede Aufgabe wurde erneut gelöst, um Fehler zu finden; OpenAI schätzt, dass rund 1,7 Prozent noch Fehler oder Unklarheiten enthalten. Daten und Code stehen unter MIT-Lizenz.

• Prüft die Verlässlichkeit beim RechnenTeams, die ein Modell für Angebote, Rechnungen oder Planungsaufgaben einsetzen wollen, prüfen, wie sicher es mehrstufige Rechnungen löst. Fehler bei einfachen Aufgaben sind ein Warnsignal für geschäftliche Berechnungen. Die Prüfung ist schnell erledigt.
• Trainiert schrittweises DenkenDer Trainingsteil mit Lösungswegen eignet sich, um kleinere Modelle so zu verfeinern, dass sie ihren Rechenweg zeigen. Mitarbeitende können Antworten dann leichter prüfen. Sie sehen jeden Schritt und erkennen, wo eine Rechnung falsch abgebogen ist.
• Verfolgt ModellversionenDa Ergebnisse zu GSM8K breit berichtet werden, vergleichen Teams eine neue Modellversion mit veröffentlichten Werten und eigenen früheren Läufen. Plötzliche Rückgänge weisen auf Änderungen am Modell hin, die eine genauere Prüfung verdienen.

• Die Variante socratic ergänzt jeden Lösungsweg um leitende Zwischenfragen.
• Sehr häufig geladener Evaluationsdatensatz unter MIT-Lizenz.

GSM8K wurde von OpenAI in den USA erstellt und veröffentlicht; die Aufgaben sind englisch.

Viele aktuelle Modelle erreichen bei GSM8K sehr hohe Werte, und die Testaufgaben sind vermutlich teils in Trainingsdaten gelandet. Der Datensatz trennt daher schwache Modelle besser als starke. Nutzen Sie ihn als Grundprüfung und ergänzen Sie schwerere oder unternehmensbezogene Tests. Die Aufgaben sind nur englisch.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen