SWE-bench Überblick und Eckdaten (Oktober 2026)

SWE-bench prüft, ob KI-Coding-Systeme echte Issues aus quelloffenen GitHub-Repositorys beheben. Die Ranglisten sind ein häufiger Bezugspunkt, wenn Unternehmen Coding-Assistenten und Agenten vergleichen.

Der Benchmark gibt einem Modell ein Repository und ein Issue und prüft, ob sein Patch die Tests bestehen lässt. Varianten sind Verified mit 500 Aufgaben, deren Lösbarkeit Entwickler bestätigt haben und die mit OpenAI entstanden, Lite, Multimodal mit visuellen Softwareaufgaben, Multilingual und Bash Only. Die Auswertung läuft in Docker-Containern, lokal oder in der Cloud über Modal und sb-cli. SWE-bench Multimodal v2 mit 480 Aufgaben ist seit September 2026 vollständig quelloffen. Der Code steht unter MIT-Lizenz.

• Vergleicht Coding-AgentenDer Anteil gelöster Issues gibt Entwicklungsleitungen ein gemeinsames Maß bei der Wahl zwischen Coding-Assistenten und Agenten. Ergebnisse auf Verified vermeiden Aufgaben, die von vornherein unlösbar sind. Die Werte werden je Variante veröffentlicht.
• Testet einen eigenen AgentenTeams, die einen eigenen Coding-Agenten bauen, lassen die containerisierte Auswertung lokal oder in der Cloud laufen und verfolgen Fortschritte zwischen Versionen an denselben Aufgaben. Die Auswertung mit Docker hält die Läufe wiederholbar.
• Prüft visuelle und mehrsprachige FähigkeitenDie Varianten Multimodal und Multilingual zeigen, ob ein Agent Frontend-Aufgaben mit Screenshots oder andere Sprachen als Python bewältigt. Das zählt für Teams mit gemischten Technologien. Die Ergebnisse helfen, Erwartungen je Programmiersprache realistisch zu setzen.

• Aufgaben stammen aus echten GitHub-Issues und werden über die Tests des Repositorys bewertet.
• Mehrere Ranglisten-Varianten, darunter eine von Menschen geprüfte Teilmenge mit 500 Aufgaben.

SWE-bench wird laut Kontaktangaben der README von Forschenden der Princeton University und der Stanford University in den USA gepflegt.

Öffentliche Issues und deren Lösungen können im Modelltraining vorgekommen sein, hohe Werte überzeichnen dann die Leistung an Ihrem eigenen Code. Die Auswertung braucht Docker und Rechenleistung oder eine Cloud-Option. Die meisten Aufgaben stammen aus Python-Projekten, testen Sie Agenten vor einer Kaufentscheidung an eigenen Repositorys.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen