OSWorld Überblick und Eckdaten (Oktober 2026)

OSWorld ist ein offener Benchmark, der KI-Agenten an echten Computeraufgaben in vollständigen Betriebssystemen prüft. Er zeigt, wie weit Computer-Use-Agenten davon entfernt sind, Büro- und Webabläufe selbstständig zu erledigen.

OSWorld umfasst 369 Aufgaben, ohne einige Google-Drive-Aufgaben 361, mit echten Web- und Desktop-Apps, Dateioperationen und Abläufen über mehrere Anwendungen. Die Umgebungen laufen in VMware, VirtualBox, Docker oder Cloud-Plattformen wie AWS und Azure. OSWorld-Verified vom Juli 2025 behob gemeldete Fehler und ergänzte parallele Auswertung auf AWS. Im ursprünglichen Paper lösten Menschen mehr als 72 Prozent der Aufgaben. Das Projekt steht unter Apache 2.0.

• Beurteilt Computer-Use-Agenten für BüroarbeitBevor ein Agent für Mitarbeitende Tabellen, Dokumente oder Browser bedient, prüfen IT-Teams seine Erfolgsquote an vergleichbaren OSWorld-Aufgaben. Der Abstand zur menschlichen Leistung zeigt, wo Aufsicht nötig bleibt. Das hilft bei der Planung.
• Testet eigene Automatisierungs-AgentenTeams, die Agenten für interne Abläufe bauen, lassen den Benchmark in Docker oder auf AWS laufen und vergleichen Versionen an denselben Aufgaben mit ausführungsbasierter Bewertung. Parallele Läufe auf AWS verkürzen die Auswertung auf unter eine Stunde.
• Vergleicht Anbieter an geprüften ErgebnissenOSWorld-Verified veröffentlicht Ergebnisse und Verläufe. Einkäufer sehen, wie ein Agent eine Aufgabe gelöst hat oder gescheitert ist, statt sich nur auf einen Wert zu verlassen. So werden typische Fehlermuster sichtbar.

• Aufgaben laufen in echten Betriebssystemen statt nur im Browser, die Umgebung unterstützt Ubuntu, Windows und macOS.
• Die ausführungsbasierte Bewertung prüft den tatsächlichen Endzustand jeder Aufgabe.

OSWorld wird von Forschenden der University of Hong Kong mit Salesforce Research, der Carnegie Mellon University und der University of Waterloo betrieben.

Für OSWorld brauchen Sie virtuelle Maschinen mit ausreichend Rechenleistung oder ein Cloud-Konto bei AWS oder Azure. Ergebnisse der ursprünglichen Fassung und von OSWorld-Verified sind nicht direkt vergleichbar. Die Werte beschreiben allgemeine Desktop-Aufgaben, testen Sie Agenten vor dem Einsatz mit Ihren eigenen Anwendungen und Daten.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen