LegalBench Überblick und Eckdaten (Oktober 2026)

LegalBench ist ein offener Benchmark zur Bewertung juristischen Schlussfolgerns von englischsprachigen Sprachmodellen. Rechts- und IT-Teams sehen damit, wie gut ein Modell mit Verträgen, Gesetzen und Urteilen umgeht.

LegalBench ist ein offenes Wissenschaftsprojekt, das Aufgaben von Juristinnen, Juristen und Forschenden sammelt. Die 162 Aufgaben reichen über Gebiete wie Beweisrecht, Vertragsrecht und Zivilprozess, viele sind Ja-Nein-Fragen dazu, ob ein Text ein rechtliches Merkmal hat. Jede Aufgabe hat einen kleinen Trainings- und einen Auswertungsteil. Hazy Research an der Stanford University betreibt Website und GitHub-Repository, das Paper erschien 2023.

• Bewertet Modelle für juristische ArbeitBevor eine Rechtsabteilung ein Modell Verträge prüfen oder Urteile zusammenfassen lässt, testet sie Kandidaten an den Aufgaben, die ihrer Arbeit am nächsten kommen. Schwächen zeigen sich je Aufgabentyp. Die Ergebnisse ergänzen eigene Tests.
• Prüft das Erkennen von VertragsklauselnMehrere Aufgaben fragen, ob eine Vertragspassage einen bestimmten Klauseltyp enthält. Das entspricht der Routineprüfung und zeigt, wie oft ein Modell Klauseln übersieht oder erfindet. Die Ergebnisse zeigen, wo menschliche Prüfung nötig bleibt.
• Vergleicht Prompt-StrategienMit den Few-Shot-Trainingsteilen vergleichen Teams Prompts und Beispiele an denselben Aufgaben, bevor ein juristischer Assistent live geht. Kleine Änderungen an Prompts verschieben die Ergebnisse bei Rechtsaufgaben spürbar, die gemeinsamen Aufgaben machen solche Effekte messbar.

• Aufgaben von Juristinnen, Juristen und Forschenden, gegliedert nach Rechtsgebiet und Aufgabentyp.
• Durchsuchbare Aufgabenbeschreibungen auf der Projektwebsite.

LegalBench wird von der Hazy-Research-Gruppe der Stanford University betrieben; die Aufgaben beruhen auf englischsprachigem, überwiegend US-amerikanischem Rechtsmaterial.

Alle Aufgaben sind englisch und stützen sich überwiegend auf US-Recht, Ergebnisse lassen sich nicht auf deutsches oder EU-Recht übertragen. Prüfen Sie die Lizenz jeder genutzten Aufgabe, da die Quellen verschieden sind. Modellantworten zu Rechtsfragen müssen weiter von Juristinnen und Juristen geprüft werden.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen