Scale Labs Leaderboards KI-Funktionen, Kosten und Datenschutz (Oktober 2026)

Scale Labs veröffentlicht Ranglisten, die KI-Modelle an schweren, fachlich erstellten Evaluationen messen, von Spitzenwissen über Agenten und Code bis zu multimodalen Aufgaben und Sicherheit. Manche Testdaten bleiben privat.

Die Website führt mehr als 20 Benchmarks, darunter Humanity's Last Exam, DrugDiscoveryBench, SWE-Bench Pro, Sicherheitstests wie PropensityBench, MASK und Fortress sowie multimodale Tests wie AudioMultiChallenge und VISTA. Bewertet werden Modelle von OpenAI, Anthropic, Google, Meta und aus der Open-Source-Szene. Ein Modell wird nur aufgenommen, wenn sein Entwickler die Prompts zum ersten Mal sieht. Betreiber ist die Scale AI, Inc. in San Francisco.

• Prüft Ergebnisse an ungesehenen FragenPrivate Testdaten erschweren es Modellen, gut abzuschneiden, weil sie die Fragen im Training gesehen haben. Teams erhalten eine zweite Sicht neben öffentlichen Benchmarks, die geschönt sein können. Das hilft, Werbeversprechen einzuordnen.
• Vergleicht Coding-Agenten an schweren AufgabenSWE-Bench Pro prüft Softwareentwicklung an anspruchsvollen Aufgaben. Entwicklungsleitungen sehen, welche Modelle komplexe Codeänderungen schaffen, bevor sie einen Coding-Assistenten wählen. Die Ergebnisse ergänzen eigene Tests mit dem Code des Unternehmens, die vor einer Einführung weiterhin nötig sind.
• Bewertet SicherheitsverhaltenBenchmarks wie MASK und Fortress untersuchen Ehrlichkeit und Sicherheitsverhalten. Risiko- und Compliance-Teams beziehen diese Ergebnisse ein, wenn sie ein Modell für Beschäftigte prüfen. Die Ergebnisse ergänzen interne Prüfungen um eine Außensicht.

• Mischung aus privaten und offenen Datensätzen, Modelle werden nur beim ersten Kontakt mit den Prompts gelistet.
• Eigene Sicherheitsbenchmarks neben Leistungstests.

Die Scale AI, Inc. hat laut Datenschutzerklärung ihren Sitz in San Francisco.

Private Testdaten lassen sich nicht einsehen, Sie verlassen sich also auf das Verfahren von Scale. Kombinieren Sie die Ergebnisse mit öffentlichen Benchmarks und eigenen Tests. Scale AI verkauft zugleich Datendienste an Modellentwickler, das sollten Sie beim Lesen der Ranglisten kennen. Die meisten Tests sind englisch.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen