FinanceBench Überblick und Eckdaten (Oktober 2026)

FinanceBench ist ein Testdatensatz für Frage-Antwort-Aufgaben zu Finanzberichten von Unternehmen. Finanz- und Datenteams prüfen mit der offenen Stichprobe, ob ein Modell oder ein RAG-Aufbau richtige Zahlen in Berichten findet.

Der offene Datensatz auf Hugging Face enthält 150 annotierte Beispiele: eine Frage zu einem börsennotierten Unternehmen, die Antwort und die Belegstelle aus dem Quelldokument. Die PDFs liegen auf GitHub. Im ursprünglichen Paper testete Patronus AI 16 Modellkonfigurationen, auch mit Vektorspeichern und langen Prompts, und prüfte 2.400 Antworten von Hand. Den vollständigen Datensatz gibt es auf Anfrage bei Patronus AI.

• Testet Finanzassistenten vor dem StartEin Finanzteam lässt die 150 Fragen durch den geplanten Assistenten laufen und vergleicht die Antworten mit den Belegstellen. Fehler wie falsche oder erfundene Zahlen werden sichtbar, bevor sich das Controlling auf das Werkzeug verlässt.
• Vergleicht Retrieval-AufbautenDa jede Antwort eine Belegstelle hat, prüfen Teams, ob ihr Suchschritt die richtige Passage gefunden hat. So lassen sich Suchfehler von Modellfehlern trennen. Teams wissen dann, ob sie den Suchindex oder den Prompt verbessern müssen.
• Legt eine Mindestqualität festDie Fragen sind bewusst eindeutig gestellt. Ein Modell, das hier scheitert, ist für anspruchsvollere Analysearbeit nicht bereit. Das Bestehen ist eine Mindestanforderung. Vor dem Einsatz im Finanzteam sollten eigene Fragen zu den Berichten des Unternehmens folgen.

• Jede Antwort enthält die Belegstelle aus dem Quellbericht.
• Die Ergebnisse im Paper beruhen auf der Handprüfung von 2.400 Modellantworten in 16 Konfigurationen.

FinanceBench nutzt Fragen zu börsennotierten Unternehmen auf Basis ihrer öffentlichen Berichte; die verlinkten PDFs liegen auf GitHub.

Die offene Stichprobe steht unter CC BY-NC 4.0, das kommerzielle Nutzung ausschließt. Klären Sie den internen Einsatz rechtlich und fragen Sie Patronus AI nach dem vollständigen Datensatz. Mit 150 Fällen ist die Stichprobe klein, ergänzen Sie eigene Fragen zu Ihren Berichten. Die Berichte sind englischsprachige Dokumente von US-Unternehmen.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen