Що змінює корпус у 2,8 трильйона токенів для індійських мовних моделей?

Корпус у цифрах

Реліз охоплює 22 мови, зафіксовані в Конституції Індії. Разом вони слугують рідними для 97 відсотків індійців, або майже 1,2 мільярда людей за переписом 2011 року. Корпус містить 2 601,0 мільярда токенів у рідному письмі та 224,6 мільярда латинізованих токенів за підрахунком токенізатора Gemma-4. Дванадцять мов представлені в обох варіантах: бенгальська, гуджараті, хінді, каннада, малаялам, маратхі, непальська, одія, пенджабська, тамільська, телугу та урду. Десять мов — лише у рідному письмі: асамська, бодо, догрі, кашмірська, конкані, маітхі, маніпурі, санскрит, санталі та синдхі. Усього виходить 34 конфігурації мова-письмо.

Кількість токенів відображає збережений корпус після фільтрації якості та виправлених переписів. Це не бюджет навчального запуску. Показники також змінюються залежно від токенізатора, тому інвентар корпусу та токеновий бюджет навчання слід читати окремо.

Два конвеєри, одна планка якості

Вихідний матеріал походить з 15 підмножин Nemotron-CC-v2: веб-текст, пари запитання-відповідь, математика, код та інші спеціалізовані домени. Відкритий NeMo Data Designer від NVIDIA керує перекладом, оцінкою, а також виправленням, зберігаючи кожен ідентифікатор джерела для простежуваності.

Для дванадцяти мов з подвійним письмом робочий процес складається з чотирьох етапів. Gemma-4-31B-it перекладає повні документи, щоб контекст через абзаци, таблиці, а також рівняння залишався цілісним. Промпти явно позначають код, URL та форматування як вміст, який треба зберегти. Та сама модель оцінює кожен переклад проти англійського оригіналу за рубрикою, натхненною Multidimensional Quality Metrics. Рубрика охоплює зміст, плавність, термінологію, стиль та форматування. Залишаються лише результати з балом не менше 75 з 100. Нижчепорогові варіанти отримують зворотний зв'язок, після чого їх виправляють і оцінюють знову. Цей цикл відновив 438,4 мільярда токенів у рідному письмі та латинізованому вигляді — вони вже включені до загальної суми.

Прийняті переклади у рідному письмі стають насінням для латинізованих даних. Частину конвертують у латиницю і перевіряють проти рідномовного вхідного тексту. Такий двоетапний підхід дав менше вигаданих доповнень і менше залишкової англійщини, ніж пряма генерація латинізованого тексту з англійської — за результатами початкових людських порівнянь.

Інші десять мов використовують окремий робочий процес, побудований навколо Indic Translate — документного перекладача для англійської та 22 індійських мов від Bodhan AI, неприбуткової організації, інкубованої в IIT Madras. Gemma-4-31B-it все одно оцінює кожен переклад. Вісім мов зберігають підхід цілісного документа. Для довгих документів санталі конвеєр перекладає перекривні вікна і збирає документ назад. Для маніпурі — переклад у бенгальське письмо з подальшою конвертацією у Meitei Mayek, рідне письмо. Ці процеси залишають результати з балом від 75 з 100 і виробляють лише дані у рідному письмі, без зворотного переписування.

Чого досягла модель

Nemotron 3.5 Super VL під час продовженого попереднього навчання додала 10 мільярдів індійських токенів, взятих з дванадцятимовної підмножини цього корпусу плюс природні індійські тексти. Планований бюджет — 100 мільярдів навчальних токенів, з них 10 відсотків виділено на індійську суміш. Показники зросли на всіх п'яти повідомлених бенчмарках знань та рассудження: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy та Indic GSM8K. Приріст становить від 4,98 до 9,82 відсоткових пунктів. Порівняння відображає етап, що поєднує синтетичні та природні індійські дані, а не ізолює синтетичний корпус окремо. Покриття мов відрізняється залежно від бенчмарку; це проміжні чекпоінти, а не фінальні релізи моделей. GSM8K виключає одію, оскільки оцінка перевищила ліміт контексту сервісу.

Поза етапом продовженого попереднього навчання, опублікований Nemotron 3.5 Super VL перевершує Nemotron 3 Super на п'яти з шести задачових бенчмарків, що охоплюють знання, рассудження, математику, код та переклад. Інструкційне слідування на IFEval 1.5 впало на 2,04 пункта. Модель також покращилася за всіма чотирма вимірами IndiVibe: корисність, плавність, вірність мови та письму, доречна багатослівність. IndiVibe — відкритий бенчмарк Sarvam AI для асистентських промптів індійськими мовами.

Як користуватися корпусом та рецептом

Розробники можуть завантажувати конкретні конфігурації мова-письмо, наприклад hi-Deva-IN для хінді в деванагарі або hi-Latn-IN для латинізованого хінді. Hugging Face Datasets підтримує стрімінг, щоб переглядати записи без завантаження всього корпусу. Закріплення ревізії набору даних забезпечує відтворюваність експериментів. Для першого навчального дослідження анонс пропонує порівнювати суміші при фіксованому токеновому бюджету, відстежуючи частки природних проти синтетичних даних, рідного письма проти латинізованого, а також збереження англійських здатностей та мовну якість.

Відкритий плагін Nemotron Bharat для NeMo Data Designer на