Evaluierung: KI-Tools im Vergleich (Oktober 2026)

Giskard

Plattform aus Paris für laufendes Red Teaming und Tests von LLM-Agenten (Giskard Hub) mit Open-Source-Bibliothek, Hosting in EU oder USA.

Langfuse

Open-Source-Plattform aus Berlin für Prompt-Management, Tracing und Evaluierung von LLM-Apps, als Cloud mit EU-Region oder selbst gehostet.

Braintrust

Plattform für Evaluierung und Observability von KI-Agenten mit Experimenten, Scorern, Trace-Analyse und dem Assistenten Loop.

Prolific

Plattform für menschliche Daten mit geprüften Teilnehmenden für KI-Training, Präferenzdaten, Evaluierungen und Forschung.

Scale AI

Trainingsdaten, menschliches Feedback und Evaluierung für KI-Modelle, dazu KI-Anwendungen für Unternehmen und Behörden.

Arize Phoenix

Open-Source-Plattform von Arize AI für Tracing und Evaluierung von LLM-Anwendungen auf Basis von OpenTelemetry, selbst gehostet.

Galileo

Plattform für Evaluierung und Observability von GenAI-Anwendungen und Agenten mit Luna-Bewertungsmodellen und Guardrails (Protect).

DeepEval

Open-Source-Framework von Confident AI zum Testen von LLM-Anwendungen wie mit pytest, mit Metriken für RAG, Agenten und Sicherheit.

GSM8K

8.500 Textaufgaben aus der Schulmathematik samt Lösungsweg von OpenAI, um mehrstufiges Denken von Sprachmodellen zu testen.

Label Studio

Open-Source-Annotationswerkzeug für Text, Bild, Audio, Video und Agenten-Traces, mit kommerziellen Cloud- und Enterprise-Ausgaben von HumanSignal.

MMLU-Pro

Evaluationsdatensatz mit rund 12.000 fachlich geprüften Multiple-Choice-Fragen mit je zehn Optionen zum Vergleich von Sprachmodellen.

OpenCompass

Quelloffene Plattform aus Shanghai zur Bewertung von Sprachmodellen, mit Ranglisten (CompassRank) und Benchmark-Katalog (CompassHub).

OSWorld

Benchmark mit 369 echten Computeraufgaben unter Ubuntu, Windows und macOS für Agenten, die Desktop- und Web-Apps bedienen.

Prompt flow

Open-Source-Werkzeuge von Microsoft, um LLM-Abläufe aus Prompts und Code zu bauen, mit Datensätzen zu testen und in CI/CD zu prüfen.

promptfoo

Open-Source-Werkzeug zum Testen von Prompts, Modellen und RAG-Pipelines und für Red Teaming in CI/CD, seit 2026 Teil von OpenAI.

Scale Labs Leaderboards

Ranglisten von Scale AI mit fachlich erstellten, teils privaten Evaluationen wie Humanity's Last Exam, SWE-Bench Pro und Sicherheitstests.

Vectara Hallucination Leaderboard

Öffentliche Rangliste, wie oft Sprachmodelle beim Zusammenfassen Fakten erfinden, gemessen mit Vectaras offenem Modell HHEM.

LiveBench

Benchmark für Sprachmodelle, der laufend neue Fragen ergänzt und Antworten gegen objektive Lösungen bewertet, ohne Modell als Richter.

τ-bench (tau-bench)

Benchmark von Sierra für KI-Agenten im Kundenservice, mit Werkzeugen und Regeln, in Handel, Luftfahrt, Telekom und Banking.

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

ICLR-2024-Artikel, der SWE-bench vorstellt: 2.294 echte GitHub-Issues aus 12 Python-Projekten als Prüfstand für Sprachmodelle.