FineWeb2 Überblick und Eckdaten (Oktober 2026)

FineWeb2 ist ein offener, mehrsprachiger Pretraining-Datensatz aus Common Crawl mit eigenen Teilmengen für mehr als 1.000 Sprachen. Er liefert Trainingsdaten für Sprachen jenseits des Englischen.

FineWeb2 entstand aus 96 Common-Crawl-Abzügen von Sommer 2013 bis April 2024 und wurde mit der Hugging-Face-Bibliothek datatrove verarbeitet. Nach Deduplizierung und Filterung umfasst er rund 20 Terabyte, 5 Milliarden Dokumente und mehr als 3 Billionen Wörter. Jede Sprache ist eine eigene Teilmenge, Teams laden also nur, was sie brauchen. Die Verarbeitungspipeline ist auf GitHub veröffentlicht, der Datensatz steht unter ODC-By 1.0.

• Trainiert Modelle für Deutsch und andere SprachenTeams, die Sprachmodelle für Deutsch bauen oder anpassen, laden nur den deutschen Teil. Sie erhalten Hunderte Milliarden Wörter bereinigten Webtext, ohne selbst zu crawlen. Andere Sprachen müssen dafür nicht heruntergeladen werden, das spart Speicher und Zeit.
• Unterstützt weiterführendes PretrainingEin vorhandenes offenes Modell lässt sich mit einer Sprachteilmenge weitertrainieren, damit es in dieser Sprache sicherer formuliert. Das ist ein üblicher Schritt vor dem Feintuning für Unternehmensaufgaben auf Deutsch. Die Daten dafür sind frei verfügbar.
• Überträgt die Pipeline auf eigene DatenDa die Verarbeitungspipeline öffentlich ist, können Datenteams dieselbe Spracherkennung, Deduplizierung und Filter auf eigene Crawls anwenden und Ergebnisse vergleichen. So lässt sich leichter erklären, wie Trainingsdaten aufbereitet wurden, etwa in der Modelldokumentation.

• Eine Teilmenge je Sprache, darunter ein deutscher Teil mit rund 1,5 Terabyte Rohtext.
• Vollständig nachvollziehbare Pipeline, auf GitHub veröffentlicht.

FineWeb2 ist mehrsprachig und weltweit abrufbar; der deutsche Teil umfasst rund 262 Milliarden Wörter aus 496 Millionen Dokumenten.

Anonymisiert werden nur E-Mail- und IP-Adressen, andere personenbezogene Daten und geschützte Texte aus Webseiten können enthalten bleiben. ODC-By verlangt Namensnennung, außerdem gelten die Bedingungen von Common Crawl. Die Datensatzbeschreibung nennt ein Widerspruchsverfahren für personenbezogene und sensible Informationen. Planen Sie Speicher für große Sprachteilmengen ein.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen