Vectara Hallucination Leaderboard Überblick und Eckdaten (Oktober 2026)

Die Vectara Hallucination Leaderboard ordnet Sprachmodelle danach, wie oft sie beim Zusammenfassen eines Dokuments nicht belegte Fakten einfügen. Das ist wichtig für Teams, die RAG-Systeme bauen, die nah an ihren Quellen bleiben müssen.

Jedes Modell fasst dieselben Dokumente zusammen, und Vectaras Hughes Hallucination Evaluation Model beurteilt, ob die Zusammenfassung zur Quelle passt. Die Rangliste nutzt HHEM-2.3, die kommerzielle Fassung von Vectara. Eine offene Variante, HHEM-2.1-Open, steht unter Apache 2.0 auf Hugging Face. Die Tabelle nennt Halluzinationsrate, Faktentreue, Antwortquote und durchschnittliche Länge, zuletzt aktualisiert am 22. September 2026. Eine interaktive Fassung läuft als Hugging Face Space. Gepflegt wird das Projekt von der Vectara, Inc. in Palo Alto.

• Wählt Modelle für DokumentzusammenfassungenTeams, die ein Modell Verträge, Berichte oder Tickets zusammenfassen lassen, bevorzugen Modelle mit niedriger Halluzinationsrate. Weniger erfundene Details bedeuten weniger Nachprüfung durch Mitarbeitende. Die Rangliste nennt die Rate für jedes getestete Modell.
• Prüft eigene Ausgaben mit HHEMDie offene Variante HHEM-2.1-Open bewertet auch Zusammenfassungen aus Ihrem eigenen System. Qualitätsteams überwachen so die Faktentreue im Betrieb und nicht nur bei der Auswahl. Ihre Werte können von denen des kommerziellen HHEM-2.3 abweichen, das die Rangliste nutzt.
• Wägt Genauigkeit gegen Ablehnungen abDie Antwortquote zeigt, wie oft ein Modell eine Zusammenfassung verweigert. Teams sehen, ob eine niedrige Halluzinationsrate mit zu vielen Ablehnungen erkauft ist. Beide Werte stehen in der Tabelle nebeneinander.

• Konzentriert sich auf ein geschäftlich relevantes Risiko: erfundene Fakten in Zusammenfassungen vorgegebener Dokumente.
• Eine offene Variante des Bewertungsmodells, HHEM-2.1-Open, steht unter Apache 2.0 bereit.

Die Vectara, Inc. hat laut Datenschutzerklärung ihren Sitz in Palo Alto, Kalifornien.

HHEM ist selbst ein Modell und kann Zusammenfassungen falsch beurteilen, bestätigen Sie Ergebnisse an Stichproben eigener Dokumente. Der Test nutzt englische Dokumente und kurze Zusammenfassungen, längere oder deutsche Texte können sich anders verhalten. Vectara verkauft eine RAG-Plattform, das sollten Sie beim Lesen der Rangliste kennen.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen