FineWeb-Edu Überblick und Eckdaten (Oktober 2026)

FineWeb-Edu ist ein offener Pretraining-Datensatz mit 1,3 Billionen Tokens englischer Webseiten, die als lehrreich bewertet wurden. Teams trainieren damit Sprachmodelle oder setzen deren Training mit hochwertigerem Webtext fort.

Der Datensatz ist ein gefilterter Ausschnitt von FineWeb und umfasst Common-Crawl-Abzüge seit 2013; Version 1.4.0 vom Juli 2025 ergänzte Abzüge bis Juni 2025. Eine größere Variante mit 5,4 Billionen Tokens nutzt eine niedrigere Schwelle. Stichproben mit 10, 100 und 350 Milliarden Tokens erlauben kleinere Versuche. Hugging Face pflegt den Datensatz und hat die Methode in einem Paper auf arXiv beschrieben.

• Trainiert kleine und mittlere ModelleTeams, die eigene kompakte Sprachmodelle trainieren, nutzen den Datensatz als Hauptkorpus aus dem Web. Der Bildungsfilter entfernt viel wenig nützlichen Text. Kleinere Modelle lernen so mit derselben Rechenleistung mehr. Das senkt die Trainingskosten.
• Nutzt den Qualitätsklassifikator weiterDer Klassifikator, der jede Seite bewertet hat, ist samt Code veröffentlicht. Datenteams wenden ihn auf eigene Crawls oder interne Dokumente an und behalten vor dem Training nur lehrreiche Texte. Das Verfahren bleibt dabei dokumentiert.
• Ermöglicht schnelle VergleichsläufeDie Stichproben mit 10 und 100 Milliarden Tokens erlauben es, Datenmischungen oder Trainingseinstellungen im Kleinen zu vergleichen, bevor ein voller Lauf startet. Die Ergebnisse helfen abzuschätzen, was ein voller Trainingslauf bringen würde, und sparen teure Fehlversuche.

• Auswahl durch einen KI-Klassifikator, dessen Modell und Code öffentlich sind, die Filterung ist also nachvollziehbar.
• Frühere Versionen bleiben in eigenen Zweigen des Repositorys verfügbar.

FineWeb-Edu ist ein englischsprachiger Datensatz, der weltweit über den Hugging Face Hub abrufbar ist.

Die Daten stammen aus öffentlichen Webseiten und können personenbezogene Daten und urheberrechtlich geschützte Texte enthalten. ODC-By verlangt eine Namensnennung, zusätzlich gelten die Bedingungen von Common Crawl. Planen Sie Speicher und Rechenleistung für Downloads im Terabyte-Bereich oder beginnen Sie mit einer Stichprobe. Fallen Sie unter die Transparenzpflichten des EU AI Act für Allzweckmodelle, dokumentieren Sie den Datensatz.

Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.

Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen