MTEB Überblick und Eckdaten (Oktober 2026)

MTEB ist Benchmark und Werkzeugkasten für Embedding-Modelle, die semantische Suche und Retrieval Augmented Generation (RAG) antreiben. Die Rangliste hilft Teams, ein Embedding-Modell für ihre Sprache und Aufgabe zu wählen.

MTEB bündelt mehr als 1.000 Aufgaben in über 1.000 Sprachen, aufgeteilt auf Retrieval, Klassifikation, Clustering, semantische Ähnlichkeit und Paarklassifikation. Benannte Benchmark-Sammlungen decken Englisch, mehrsprachige und europäische Inhalte sowie Fachgebiete wie Recht, Medizin und Code ab. Begonnen hat MTEB mit Text, heute sind Bild und Audio dabei. Installiert wird per pip oder uv, die interaktive Rangliste läuft auf Hugging Face Spaces. Das Projekt steht unter Apache 2.0 und wird von vielen Beitragenden gepflegt.

• Wählt ein Embedding-Modell für die SucheTeams, die eine interne Suche oder ein RAG-System bauen, vergleichen Embedding-Modelle bei Retrieval-Aufgaben in ihrer Sprache. Ein besseres Modell findet relevantere Dokumente, das verbessert die Antworten des ganzen Systems. Das lohnt sich vor dem Aufbau eines Suchindex.
• Testet ein Modell mit eigener AufgabenauswahlÜber Python-API oder Kommandozeile lassen Teams nur die Aufgaben laufen, die zu ihrem Einsatz passen, etwa Retrieval in europäischen Sprachen oder Rechtstexte. Das Ergebnis ist aussagekräftiger als der Gesamtwert. Das spart Rechenzeit.
• Bewertet Bild- und Audio-EmbeddingsMTEB enthält neben Text auch Bild-, Audio- und multimodale Aufgaben. Teams, die eine Suche über Produktfotos, gescannte Dokumente oder Aufnahmen planen, testen Embedding-Modelle für diese Formate mit demselben Werkzeugkasten. Das spart eigene Testskripte.

• Benchmark-Sammlungen für einzelne Sprachgruppen und Fachgebiete wie Recht, Medizin und Code.
• Umfasst Text-, Bild- und Audio-Embeddings in einem Framework.

MTEB deckt mehr als 1.000 Sprachen ab und wird als offenes, weltweit genutztes Community-Projekt gepflegt.

Werte auf der Rangliste sind Durchschnitte. Lassen Sie vor der Entscheidung die Aufgaben laufen, die Ihren Dokumenten und Sprachen am nächsten kommen. Manche Modelle können mit öffentlichen MTEB-Daten trainiert worden sein. Große Aufgabenmengen brauchen bei größeren Modellen GPU-Zeit. Prüfen Sie zudem die Lizenz des gewählten Modells.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen