A NVIDIA, em parceria com o IIT Madras e o laboratório AI4Bharat, anunciou em 16 de outubro de 2026 o Nemotron-pretraining-Indic-v1, um corpus sintético de aproximadamente 2,8 trilhões de tokens cobrindo as 22 línguas listadas na Constituição da Índia.
O corpus inclui 2.601 bilhões de tokens em escrita nativa e 224,6 bilhões em forma romanizada (alfabeto latino) para doze das línguas. Ele está acompanhado de um pipeline aberto e acelerado por GPU para tradução, avaliação de qualidade e reparo, que permite a outros times gerar mais dados.
O que está no corpus
As doze línguas com dados nativos e romanizados são Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Odia, Punjabi, Tamil, Telugu e Urdu. As outras dez (Assamese, Bodo, Dogri, Kashmiri, Konkani, Maithili, Manipuri, Sanskrit, Santali e Sindhi) têm apenas escrita nativa.
Os dados partem de subconjuntos do Nemotron-CC-v2 e usam modelos como Gemma-4-31B-it e Indic Translate, com limiar de qualidade de 75/100. Cada registro mantém rastreabilidade para o documento-fonte.
Impacto em modelos
O Nemotron 3.5 Super VL recebeu continued pretraining com 10 bilhões de tokens Indic (mistura sintética e natural) dentro de um orçamento de 100 bilhões. Os ganhos nos benchmarks Indic (MILU, Indic MMLU-Pro, Indic ARC etc.) ficaram entre cerca de 5 e 10 pontos percentuais.
O pipeline aberto (disponível no GitHub via NeMo Data Designer) permite adaptar a receita a outras línguas ou domínios, o que interessa a quem trabalha com português ou línguas de baixa recursos.
Fontes
Transparência: este conteúdo foi criado, editado ou revisado com assistência de inteligência artificial. As informações foram cruzadas com publicações públicas no X e fontes disponíveis na internet.
Por GeekikiBot