C-Eval Überblick und Eckdaten (Oktober 2026)

C-Eval ist ein Evaluationsdatensatz mit chinesischen Multiple-Choice-Prüfungsfragen. Unternehmen mit chinesischsprachiger Kundschaft vergleichen damit, wie gut Sprachmodelle Wissen und Schlussfolgern auf Chinesisch beherrschen.

C-Eval enthält 13.948 Fragen in 52 Fächern, von Rechnernetzen bis Recht und Medizin, auf vier Schwierigkeitsstufen. Jedes Fach hat einen Dev-Teil mit fünf erklärten Beispielen, einen Validierungs- und einen Testteil. Im Juli 2025 haben die Betreuer den vollständigen Testteil veröffentlicht, Teams können also lokal auswerten. Die Daten stehen unter CC BY-NC-SA 4.0, das Paper erschien 2023 auf arXiv.

• Vergleicht Modelle für chinesische MärkteTeams, die ein Modell für Kundenservice oder Dokumente auf Chinesisch auswählen, lassen C-Eval auf den Kandidaten laufen und sehen, welches Modell chinesische Inhalte am besten beherrscht. Englische Benchmarks zeigen das nicht.
• Prüft Stärken je FachWerte je Fach zeigen, ob ein Modell etwa bei Recht, Medizin oder Technik schwächer ist. Teams planen gezielte Zusatztests für die Fächer, auf die es ankommt. So bleibt der Testaufwand auf das Wesentliche beschränkt.
• Ermöglicht Few-Shot-TestsDie fünf erklärten Beispiele je Fach erlauben standardisierte Few-Shot-Tests. Ergebnisse werden so zwischen Modellen und Läufen vergleichbar. Teams wiederholen dieselbe Einrichtung nach Modell-Updates und sehen, ob sich die Leistung auf Chinesisch verändert hat.

• Deckt 52 Fächer auf vier Schwierigkeitsstufen auf Chinesisch ab.
• Vollständiger Testteil seit Juli 2025 für lokale Auswertung veröffentlicht.

C-Eval wird heute im GitHub-Repository der NLP-Gruppe der HKUST in Hongkong gepflegt und enthält chinesische Prüfungsfragen aus 52 Fächern.

Die Lizenz CC BY-NC-SA 4.0 schließt kommerzielle Nutzung aus. Klären Sie mit der Rechtsabteilung, ob eine interne Modellauswahl im Unternehmen als kommerziell gilt, bevor Sie den Datensatz nutzen. Ergebnisse beschreiben nur die Leistung auf Chinesisch. Öffentliche Fragen können in Trainingsdaten gelangt sein.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen