Fachartikel🇺🇸
Artikel von Meta über Llama Guard, ein Sprachmodell, das Eingaben und Antworten von Chatbots nach einer Risiko-Taxonomie einstuft.
SWE-bench: Can Language Models Resolve Real-World GitHub Issues? Fachartikel im Überblick (Oktober 2026)
ICLR-2024-Artikel, der SWE-bench vorstellt: 2.294 echte GitHub-Issues aus 12 Python-Projekten als Prüfstand für Sprachmodelle.
Was ist SWE-bench: Can Language Models Resolve Real-World GitHub Issues??
Der SWE-bench-Artikel stellt einen Benchmark vor, bei dem Sprachmodelle echte GitHub-Issues beheben, indem sie eine Codebasis ändern. Er wurde zur Standardreferenz, die Anbieter von Coding-Agenten beim Vergleich ihrer Produkte zitieren.
SWE-bench besteht aus 2.294 Aufgaben aus echten GitHub-Issues und Pull Requests in 12 verbreiteten Python-Repositories. Ein Modell erhält Codebasis und Issue und muss einen Patch liefern, der die Tests besteht. Der Artikel wurde auf der ICLR 2024 als Vortrag angenommen.
Das Repository enthält die Auswertungsumgebung, die vollständig in Docker-Containern läuft, sowie SWE-bench Multimodal, das im September 2026 mit 480 Aufgaben vollständig offen wurde. SWE-bench Verified, eine von Entwickler:innen bestätigte Teilmenge mit 500 Aufgaben, entstand mit OpenAI. Das Repository steht unter MIT, hatte 5.928 Sterne und wurde am 18. September 2026 geändert.
KI-Funktionen von SWE-bench: Can Language Models Resolve Real-World GitHub Issues? und ihr Nutzen
- Anbieterangaben vergleichbar machenAnbieter von Coding-Agenten nennen oft Ergebnisse auf SWE-bench oder SWE-bench Verified. Entwicklungsleitungen lesen diese Zahlen richtig, wenn sie wissen, welche Variante und welcher Aufbau gemeint ist.
- Agenten selbst testenDie Docker-basierte Auswertung lässt Teams Kandidaten-Modelle oder Agenten selbst an denselben Aufgaben laufen. Beschaffungsentscheidungen stützen sich so auf wiederholbare Ergebnisse statt auf Werbezahlen.
- Visuelle Softwareaufgaben prüfenSWE-bench Multimodal ergänzt Aufgaben aus visuellen Softwarebereichen mit Screenshots. Teams mit Frontend-Werkzeugen sehen, wie Agenten mit Fehlern in Oberflächen umgehen.
Was SWE-bench: Can Language Models Resolve Real-World GitHub Issues? besonders macht
- Aufgaben stammen aus echten Repositories, nicht aus künstlichen Rätseln.
- Die Bewertung läuft automatisch über die Tests der Projekte.
- Es gibt mehrere Varianten, Ergebnisse sind nur innerhalb einer Variante vergleichbar.
Wo SWE-bench: Can Language Models Resolve Real-World GitHub Issues? am stärksten ist
International verfügbar
Der Fachartikel ist frei auf arXiv abrufbar, der zugehörige Code läuft auf eigener Hardware in jedem Land.
Vor dem Kauf von SWE-bench: Can Language Models Resolve Real-World GitHub Issues? klären
SWE-bench deckt in der Originalfassung nur Python-Repositories ab. Ergebnisse lassen sich nicht ohne Weiteres auf Ihre Sprachen und Codebasis übertragen. Die Auswertung braucht Docker und viel Rechenleistung. Nennt ein Anbieter einen Wert, fragen Sie nach Variante, Agenten-Aufbau und Zahl der Versuche.
SWE-bench: Can Language Models Resolve Real-World GitHub Issues? in Deutschland und der EU: Datenschutz und AI Act
- DatenhaltungVom Anbieter nicht veröffentlicht.
- AuftragsverarbeitungsvertragVom Anbieter nicht veröffentlicht: anfordern (Art. 28 DSGVO).
- EU AI ActPrüfen, ob die KI Entscheidungen über Menschen vorbereitet. Wenn nicht, greifen die Hochrisiko-Regeln meist nicht. Die Hochrisiko-Pflichten gelten ab dem 2. Dezember 2027 (Digital-Omnibus).
Allgemeine Information mit Quellen, keine Rechtsberatung.
Bewertungen zu SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.
Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen
Häufige Fragen zu SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
Was ist SWE-bench Verified?
Laut README eine Teilmenge von 500 Aufgaben, die Softwareentwickler:innen als lösbar bestätigt haben, entstanden mit dem Preparedness-Team von OpenAI.
Können wir den Benchmark selbst ausführen?
Ja. Das Repository liefert eine Docker-basierte Auswertung, zusätzlich sind Auswertungen in der Cloud über Modal und das Werkzeug sb-cli dokumentiert.
Welche Programmiersprachen deckt er ab?
Der ursprüngliche Benchmark nutzt 12 verbreitete Python-Repositories. SWE-bench Multimodal ergänzt visuelle Softwarebereiche.
Updatearchiv zu SWE-bench: Can Language Models Resolve Real-World GitHub Issues?noch keine Updates
Für SWE-bench: Can Language Models Resolve Real-World GitHub Issues? sind noch keine Änderungen erfasst.
Änderungen beim Anbieter und bestätigte Hinweise aus Nutzermeldungen, jeweils an den Seiten des Anbieters geprüft. Wir prüfen jedes Tool monatlich.
Alternativen zu SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
Tools aus derselben Kategorie (Sicherheit & Evaluierung) mit den meisten gemeinsamen Märkten.