τ-bench (tau-bench) Überblick und Eckdaten (Oktober 2026)

τ-bench prüft, ob KI-Agenten Kundenservice-Gespräche verlässlich führen: mit Kunden sprechen, Werkzeuge aufrufen, Wissen abrufen und Unternehmensregeln einhalten, in Text und Sprache.

Der Benchmark umfasst Handel, Luftfahrt, Telekom und Banking sowie einen Sprachbereich mit Unterbrechungen und Akzenten. Geprüft wird am Endzustand einer Datenbank, ein Agent muss die Aufgabe also wirklich erledigen. τ³-bench, die Fassung von 2026, ergänzte einen Banking-Bereich mit Wissensabruf und einstellbaren RAG-Abläufen, Sprachbewertung im Vollduplex und mehr als 75 Korrekturen an Aufgaben. Sierra pflegt den Benchmark, den MIT-lizenzierten Code auf GitHub und die Rangliste auf taubench.com.

• Testet Service-Agenten vor dem StartKundenservice-Teams lassen ihren geplanten Agenten realistische Gespräche in Bereichen führen, die ihrem eigenen nahekommen. Die Kennzahl pass^k zeigt, ob der Agent über wiederholte Versuche beständig erfolgreich ist. Beständigkeit zählt im Service.
• Prüft die Einhaltung von RegelnDie Aufgaben verlangen, dass der Agent beim Einsatz von Werkzeugen Regeln wie Erstattungs- oder Umbuchungsrichtlinien befolgt. Fehler zeigen, wo ein Agent bei echten Kunden Unternehmensregeln brechen würde. Solche Fälle lassen sich vor dem Start beheben.
• Bewertet Sprach-AgentenDer Sprachbereich im Vollduplex testet Echtzeitgespräche mit Unterbrechungen und Akzenten. Contact-Center-Teams vergleichen Sprachmodelle, bevor sie sie am Telefon einsetzen. Die Ergebnisse für Sprache stehen auf derselben Rangliste wie die Textergebnisse und lassen sich direkt vergleichen.

• Bewertet Agenten am erreichten Datenbankzustand und an der Beständigkeit über wiederholte Läufe.
• Enthält in der Fassung von 2026 Bereiche für Sprache und Wissensabruf.

τ-bench wird von Sierra gepflegt und über die öffentliche Rangliste auf taubench.com weltweit genutzt.

Sierra verkauft selbst Kundenservice-Agenten, das sollten Sie beim Lesen der Rangliste kennen. Die Bereiche sind simuliert und englisch, testen Sie Ihren Agenten zusätzlich mit Ihren eigenen Regeln und Sprachen. Die Werte im Bereich banking_knowledge haben sich mit Version 1.0.1 geändert, vergleichen Sie nur Ergebnisse derselben Version.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen