Moshi: a speech-text foundation model for real-time dialogue Fachartikel im Überblick (Oktober 2026)

Der Moshi-Artikel des französischen Forschungslabors Kyutai stellt ein Sprache-zu-Sprache-Basismodell für gesprochene Dialoge in Echtzeit vor. Das offene Repository bietet Inferenz in PyTorch, in MLX für Mac und iPhone und in Rust für den produktiven Einsatz.

Klassische Sprachassistenten verketten Sprachaktivitätserkennung, Spracherkennung, ein Textmodell und Sprachausgabe. Das kostet Sekunden und verliert Emotionen und überlappendes Sprechen. Moshi modelliert den gesprochenen Dialog direkt und sagt mit einem Transformer von 7 Milliarden Parametern die eigene Sprache, die des Gegenübers und einen inneren Textmonolog voraus.

Der Codec Mimi komprimiert Audio mit 24 kHz auf 12,5 Hz bei 1,1 kbit/s mit 80 ms Latenz. Dieselbe Codebasis betreibt auch Kyutais Sprachübersetzung Hibiki sowie Modelle für Sprachausgabe und Spracherkennung. Der Python-Code steht unter MIT, das Rust-Backend unter Apache 2.0 und die Modellgewichte unter CC-BY 4.0. Das Repository hatte 11.158 Sterne und wurde am 9. September 2026 geändert.

• Natürliche Sprachagenten ermöglichenWeil Moshi zuhört, während es spricht, kommt es mit Unterbrechungen und schnellem Hin und Her zurecht. Kundenservice- oder interne Helpdesk-Teams können Sprachagenten testen, die weniger nach Telefonmenü klingen.
• Sprachmodelle auf dem Gerät ausführenDie MLX-Umsetzung rechnet auf Mac und iPhone. Produktteams testen Sprachfunktionen lokal, ohne Audio an einen Cloud-Dienst zu senden.
• Sprache effizient komprimierenDer Codec Mimi kodiert Sprache mit 1,1 kbit/s im Streaming. Entwickler:innen von Sprach-Pipelines nutzen ihn für Übertragung mit wenig Bandbreite oder als Tokenizer für eigene Modelle.

• Europäisches Forschungslabor mit Sitz in Frankreich, Code unter MIT und Apache 2.0, Modellgewichte unter CC-BY 4.0.
• Drei Umsetzungen: PyTorch für Forschung, MLX für Apple-Geräte, Rust für den Betrieb.
• Sprache-zu-Sprache-Aufbau ohne getrennte Kette aus Erkennung und Synthese.

Der Fachartikel ist frei auf arXiv abrufbar, der zugehörige Code läuft auf eigener Hardware in jedem Land.

Moshi ist ein Forschungsmodell. Testen Sie Sprachabdeckung und Antwortqualität für Ihren Fall, bevor Kund:innen damit sprechen. Stimmaufnahmen sind personenbezogene Daten. Legen Sie fest, wo die Inferenz läuft und wie Audio gespeichert wird. Die Modellgewichte stehen unter CC-BY 4.0, bei Weitergabe oder Bearbeitung ist eine Namensnennung Pflicht.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen