Common Corpus Überblick und Eckdaten (Oktober 2026)

Common Corpus ist ein offener Datensatz zum Training von Sprachmodellen, der nur gemeinfreie oder frei lizenzierte Texte enthält, mit Lizenzangabe je Dokument. Er passt zu Teams, die nachvollziehbare Trainingsdaten brauchen.

Das Korpus hat sechs Sammlungen, darunter OpenCulture mit gemeinfreien Büchern und Zeitungen, OpenGovernment mit Finanz- und Rechtsdokumenten wie SEC-Berichten und Europarl, OpenSource mit Code, OpenScience mit Fachartikeln und OpenWeb mit Inhalten wie Wikipedia. Deutsch, Spanisch, Italienisch, Polnisch, Griechisch und Latein haben je mehr als 10 Milliarden Tokens. Erstellt hat es Pleias aus der Station F in Paris mit Partnern, vorgestellt als Vortrag auf der ICLR 2026.

• Trainiert Modelle nur mit lizenzierten DatenTeams, die geschütztes Trainingsmaterial vermeiden müssen, trainieren oder verfeinern Modelle mit gemeinfreien oder offen lizenzierten Texten. Das senkt das Rechtsrisiko für Modelle in Produkten. Die Herkunft jedes Textes bleibt dabei nachvollziehbar, was Prüfungen durch Kunden oder Behörden erleichtert.
• Filtert nach LizenzartJedes Dokument trägt Angaben zu Lizenz und Herkunft. Rechts- oder Compliance-Teams beschränken das Training etwa auf gemeinfreie Werke oder Lizenzen mit reiner Namensnennung und dokumentieren diese Wahl. Das hilft bei der Dokumentation gegenüber Kunden oder Aufsicht.
• Ergänzt Rechts- und FinanztexteDie Sammlung OpenGovernment enthält Hunderte Milliarden Tokens an Regulierungs-, Finanz- und Rechtsdokumenten. Modelle für Finanz- oder Rechtsarbeit lernen so Fachvokabular aus Quellen wie SEC und Europarl. Die Texte stammen aus öffentlichen Quellen.

• Lizenz und Herkunft sind je einzelnem Dokument erfasst.
• Von einem Unternehmen aus Paris erstellt; laut Datensatzbeschreibung erfüllt es die Transparenzanforderungen des Verhaltenskodex zum AI Act.

Pleias sitzt in der Station F in Paris, Englisch und Französisch machen den größten Teil des Korpus aus.

Prüfen Sie, ob die Namensnennungspflichten der einzelnen Lizenzen zu Ihrer Modelldokumentation passen, und filtern Sie unerwünschte Lizenzen heraus. Auch gemeinfreie und behördliche Dokumente können personenbezogene Daten enthalten, bewerten Sie den Datenschutz daher gesondert. Das gesamte Korpus ist sehr groß, beginnen Sie mit den benötigten Sammlungen.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen