Sangraha
Sangraha ist ein offener Pretraining-Datensatz für indische Sprachen mit 251 Milliarden Tokens in 22 Sprachen. Er hilft Teams, Sprachmodelle für Kundschaft und Beschäftigte in Indien zu bauen oder anzupassen.
Wichtige Funktionen
- Der ungeprüfte Teil ist per Perplexität mit N-Gramm-Sprachmodellen gefiltert, die auf geprüften Daten trainiert wurden
- Der synthetische Teil entstand durch maschinelle Übersetzung von Wikimedia in 14 indische Sprachen
Im Vergleich zu Sarvam AI
- Stark in denselben Märkten wie Sarvam AI: Indien.
Vor dem Kauf klären: CC BY 4.0 verlangt Namensnennung. Web-, OCR- und Transkriptquellen können personenbezogene Daten und Inhalte Dritter enthalten, prüfen Sie das nach indischem Datenschutzrecht und Ihren eigenen Regeln. Maschinell übersetzte Texte können Übersetzungsfehler enthalten, gewichten Sie den synthetischen Teil daher bewusst. Für Deutsch oder andere europäische Sprachen ist der Datensatz nicht gedacht.









