Що насправді симулюють нові моделі Cosmos 3 Nano від NVIDIA?

Чотири чекпоінти та їх призначення

Усі чотири чекпоінти базуються на однаковій хребтовій архітектурі — 16 мільярдів навчальних параметрів під назвою Cosmos 3 Nano. Ліцензія OpenMDW1.1 дозволяє комерційне та некомерційне використання відповідно до її умов. Transfer-Auto генерує синхронне відео до одинадцяти камер, включаючи «риб'ячі очі». Паралельно підтримується спільна генерація RGB та LiDAR. Карти сценаріїв світу для кожної камери задають структуру сцени та рух транспорту. Текстові промпти керують зовнішнім виглядом. Розробники можуть змінювати умови середовища, щоб розширити охоплення навчання та оцінки. Початкові RGB-зображення необов'язково фіксують вигляд сцени. Для спільної генерації LiDAR додаються вирівняні карти діапазонів HD-map, синхронізовані з камерами.

Sim-Auto — це причинно-скорочена потокова версія Transfer-Auto. Вона видає послідовні невеликі шматки синхронного відео камер і LiDAR за всього кілька кроків денойзингу. Згенерована історія та оновлені керуючі сигнали забезпечують швидкий стрімінг та довгі інтерактивні рол-аути. Обов'язкові: підписи для кожної камери та синхронізовані карти сценаріїв світу. Для LiDAR потрібні карти діапазонів HD-Map, вирівняні з камерами. Стиснута модель генерує наступні шматки, спираючись на свою історію. Замкнене керування вимагає середовище симуляції та візуалізатор карт сценаріїв, щоб оновлювати контролі за вхідними командами водія.

Sim-Transfer працює інакше. Ваш симулятор обчислює контакти руху та фізичний стан. Sim-Transfer використовує просторові контролі та текстовий промпт, щоб візуалізувати кольорові спостереження для політики. Глибина та сегментація слугують просторовими контролями. Краї та розмиття додаються окремо. Текст керує виглядом, а фізика з істинним станом залишаються в симуляторі. Дія веде до оновлення симулятора, яке дає просторові контролі, які генерують RGB, яке йде в наступну дію політики.

Sim-Bimanual моделює, як середовище змінюється у відповідь на дії дворукого робота. Підтримується інтерактивна дворука симуляція для ембеддингів YAM та AgiBot під керуванням політики або джойстиків людини. Початок — зображення. Далі рух робота або камери. Потім генерація наступних спостережень. Одна послідовність контролю може перемикатися між зміною точки зору та маніпуляцією. Приклад змішаних дій використовує п'ятдесят дев'ять значень контролю, доповнених до шістдесяти чотирьох під час навчання. Схема визначає системи координат та обертання. Калібрування гриперів і маски валідності, а також домени контролю, описані окремо. Дотримуйтесь цих конвенцій, щоб кожне значення описувало намічений рух. Зберігайте синхронізацію часу: T переходів потребують T плюс одне спостереження. Навчання перетворює сирі записи у представлення дії моделі; випущені інференс-дії вже нормалізовані.

Як працює потокова генерація всередині

Хребет Cosmos 3 — Mixture-of-Transformers — з'єднує окремі мережі обробки тексту та генерації візуалу через увагу. Генератор передбачає кожен короткий сегмент за промптом та доступними контролями. Згенерована історія додається як третій вхід. Контролі та історія потрапляють у генерацію шматка, яка декодує зображення та оновлює історію. Денойзинг перетворює зашумлені стиснені відео-представлення на сегмент. Темпорально-причинна увага дозволяє читати доступну історію та контролі, блокуючи майбутні цілові спостереження. Кеш ключ/значення зберігає інформацію уваги для наступного прогнозу.

Модель оперує стисненими відео-представленнями — латентними змінними. Після початкового зображення кожен латентний крок часу відповідає чотирьом RGB-кадрам. Transfer передбачає один крок на шматок; оптимізована конфігурація Bimanual у звіті передбачає два. Менші шматки дозволяють новим контролям частіше впливати на генерацію. Чотири моделі. Шістнадцять мільярдів параметрів.

Чотиристадійний рецепт навчання

Етап нуль — двостороння адаптація — вивчає домен та зв'язки контроль-відео з повних записаних кліпів. Етап один — teacher forcing — передбачає кожен шматок за ранішими записаними спостереженнями та доступними контролями. Чисту відповідь та майбутні цілі маскуються. Етап два — консистентна дистилляція — використовує замороженого вчителя для навчання студента, який генерує кожен шматок за чотири кроки денойзингу. Етап три — self-forcing — навчає на згенерованій студентом історії. Заморожений вчитель та допоміжна оціночна модель подають сигнал узгодження розподілів.

Чому останній етап критичний: невелика помилка у об'єкті стає контекстом для пізніших кадрів, і помилки накопичуються. Self-forcing піддає навчання впливу цієї згенерованої історії. Дистилляція та кешування знижують вартість отримання кожного спостереження.

Адаптація моделей та їх запуск

Рецепти пост-навчання стартують від Cosmos3-Nano або сумісних базових ваг і охоплюють усі чотири етапи. Зберігайте повні навчальні чекпоінти для відновлення; експортовані інференс-ваги не містять стану оптимізатора та іншого навчального стану. Transfer-Auto пост-навчається на ваших даних водіння для адаптації до вашого сенсорного набору та домену та генерує офлайн синтетичні дані. Sim-Auto застосовує причинне навчання та дистилляцію до адаптованої моделі Transfer-Auto для швидкої потокової симуляції. Sim-Transfer пост-навчає чекпоінт для вашого середовища з локальними конфігураціями підготовки даних етапів та відновленням. Sim-Bimanual пост-навчається для вашого ембеддингу з валідацією даних. Конфігурації етапів і передача чекпоінтів, а також експорт, оформлені окремо.

Надайте вашому кодуванню агента навичку та розташування датасету. Пройдіть перевірки середовища. Перевірте зразок і протестуйте навчання, а також перезапуск перед довгим запуском. Оцініть якість на відкладених епізодах: успішний короткий запуск перевіряє виконання, а не збіжність.

Вимоги, зазначені в оголошенні: Linux та GPU NVIDIA. Docker та NVIDIA Container Toolkit теж потрібні. Опубліковану конфігурацію vLLM-Omni тестували на одному GB200; це не специфікація мінімальної пам'яті. Сервер завантажує ваги; клієнти отримують зразкові вхідні дані. Скільки VRAM потрібно для менших GPU — оголошення не каже. Чи можна запускати моделі квантованими — оголошення теж не каже.