Kostenlos🇫🇷
Offenes Pretraining-Korpus mit 2,27 Billionen Tokens von Pleias aus Paris, nur aus gemeinfreien oder frei lizenzierten Dokumenten.
Sangraha Überblick und Eckdaten (Oktober 2026)
Pretraining-Daten von AI4Bharat (IIT Madras) mit 251 Milliarden Tokens in 22 indischen Sprachen, teils geprüft, gefiltert oder übersetzt.
Kostenlos
Was ist Sangraha?
Sangraha ist ein offener Pretraining-Datensatz für indische Sprachen mit 251 Milliarden Tokens in 22 Sprachen. Er hilft Teams, Sprachmodelle für Kundschaft und Beschäftigte in Indien zu bauen oder anzupassen.
Sangraha besteht aus drei Teilen. Verified enthält Texte von menschlich geprüften Websites, OCR aus PDFs in indischen Sprachen und Transkripte von Videos, Podcasts und Kursen. Unverified umfasst qualitätsgefilterte Texte aus vorhandenen mehrsprachigen Korpora. Synthetic enthält Wikimedia-Texte, übersetzt in 14 indische Sprachen, und umschriebene Fassungen in lateinischer Schrift. AI4Bharat, ein Labor am IIT Madras in Chennai, veröffentlicht die Daten unter CC BY 4.0 samt Pipelines auf GitHub.
KI-Funktionen von Sangraha und ihr Nutzen
- Trainiert Modelle für indische SprachenTeams, die Chatbots oder Suche für Nutzer in Indien bauen, trainieren Modelle mit Hindi, Tamil, Bengali und weiteren Sprachen vor oder weiter. Antworten in Sprachen, die allgemeine Webkorpora kaum abdecken, werden so besser.
- Versteht umgeschriebene EingabenDer Teil in lateinischer Schrift bildet ab, wie viele Menschen indische Sprachen tippen. Damit trainierte Modelle kommen mit solchen Nachrichten von Kundschaft besser zurecht. Das zählt vor allem in Chat- und Messenger-Kanälen, in denen Kundschaft oft so schreibt.
- Erlaubt Wahl der QualitätsstufeGeprüfte, ungeprüfte und synthetische Teile lassen sich je Sprache einzeln laden. Datenteams beginnen mit geprüften Texten und ergänzen die anderen Teile nur, wo die Menge nicht reicht. So bleibt die Qualität steuerbar.
Was Sangraha besonders macht
- Deckt 22 indische Sprachen ab, getrennt nach geprüften, gefilterten und synthetischen Teilen.
- Veröffentlicht zusammen mit den Pipelines für Scraping und Bereinigung.
Wo Sangraha am stärksten ist
Indien International verfügbar
AI4Bharat ist ein Forschungslabor am IIT Madras in Chennai, der Datensatz deckt 22 indische Sprachen ab.
Vor dem Kauf von Sangraha klären
CC BY 4.0 verlangt Namensnennung. Web-, OCR- und Transkriptquellen können personenbezogene Daten und Inhalte Dritter enthalten, prüfen Sie das nach indischem Datenschutzrecht und Ihren eigenen Regeln. Maschinell übersetzte Texte können Übersetzungsfehler enthalten, gewichten Sie den synthetischen Teil daher bewusst. Für Deutsch oder andere europäische Sprachen ist der Datensatz nicht gedacht.
Sangraha in Deutschland und der EU: Datenschutz und AI Act
- DatenhaltungVom Anbieter nicht veröffentlicht.
- AuftragsverarbeitungsvertragVom Anbieter nicht veröffentlicht: anfordern (Art. 28 DSGVO).
- EU AI ActPrüfen, ob die KI Entscheidungen über Menschen vorbereitet. Wenn nicht, greifen die Hochrisiko-Regeln meist nicht. Die Hochrisiko-Pflichten gelten ab dem 2. Dezember 2027 (Digital-Omnibus).
Allgemeine Information mit Quellen, keine Rechtsberatung.
Bewertungen zu Sangraha
Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.
Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen
Häufige Fragen zu Sangraha
Welche Lizenz gilt?
Die Datensatzbeschreibung nennt CC BY 4.0, das kommerzielle Nutzung mit Namensnennung erlaubt.
Können wir eine einzelne Sprache laden?
Ja. Mit der Bibliothek datasets laden Sie einen Teil und ein Sprachverzeichnis, etwa die geprüften Daten auf Assamesisch.
Wer pflegt Sangraha?
AI4Bharat, ein Forschungslabor am IIT Madras in Chennai, das offene Datensätze, Werkzeuge und Modelle für indische Sprachen entwickelt.
Updatearchiv zu Sangrahanoch keine Updates
Für Sangraha sind noch keine Änderungen erfasst.
Änderungen beim Anbieter und bestätigte Hinweise aus Nutzermeldungen, jeweils an den Seiten des Anbieters geprüft. Wir prüfen jedes Tool monatlich.
Alternativen zu Sangraha
Tools aus derselben Kategorie (Trainingsdaten) mit den meisten gemeinsamen Märkten.
Kostenlos🇺🇸
Pretraining-Datensatz von Hugging Face mit 1,3 Billionen Tokens lehrreicher Webseiten, per KI-Klassifikator aus Common Crawl ausgewählt.
Kostenlos🇺🇸
Mehrsprachiger Pretraining-Datensatz von Hugging Face für mehr als 1.000 Sprachen, mit einem großen deutschen Teil.
Preis auf Anfrage · Gratis-TarifInternational verfügbar
Freie, quelloffene Prompt-Bibliothek, früher Awesome ChatGPT Prompts, als Website, MCP-Server oder selbst gehostete Firmenbibliothek.