Як одна модель керує будь-яким роботом без окремих планувальників?

Робот має перетворити відеопотік і мовну мету на моторні команди. Більшість систем розділяє це на модуль картивання та планувальник. Контролер під кожне тіло додається окремо. LightNav-0 працює інакше.

Модель поміщається в один чекпоінт. Вона приймає візуальну історію та мовну інструкцію, потім видає дії безпосередньо. Без окремого картографа чи планувальника. Без окремого контролера для кожного утілення.

Єдиний інтерфейс для вказівки та дії

Уніфікований токеновий інтерфейс лежить в основі. Двохканальна вказівка виражає просторову наміру, не знаючи форми робота чи розташування сцени. Один канал позначає ціль на зображенні. Другий — поточну точку огляду. Разом вони кажуть «їдь туди звідси» так, що підходить для колісної бази, чотирилапки чи дрона.

Токенізатор дій на основі векторної квантизації з залишком перетворює наміру на траєкторію. Він вивчає дискретну кодову книгу рухових примітивів. Залишкова частина виправляє помилку квантизації, щоб вихід залишався точним. Той самий токенізатор адаптується до різних просторів дій, бо сторона вказівки не залежить від утілення.

Навчання на тисячах сцен

Навчальний корпус охоплює 2K+ сцен і 4K+ годин даних втіленої навігації. Цей масштаб має значення. Модель бачить достатню різноманітність, щоб вивчити загальне просторове мислення замість запам'ятовування маршрутів.

Навчання відбувається в етапах. ER-донавчання будує втілене мислення на основі попередньо навченого VLM. Навчання з вчителем узгоджує токени вказівки та дій з експертними демонстраціями. Подукове навчання потім підвищує відсоток успіху в симуляції. Стаття повідомляє про найкращі одноокулярні результати у всіх 10 публічних налаштуваннях симуляції навігації.

LightNav-ER, чекпоінт мислення до фінального RL-етапу, вже лідирує за середнім на 8 бенчмарках втіленого мислення. Фінальний LightNav-0 додає спеціалізацію на навігації.

Реальні роботи без донавчання

Zero-shot перенос на фізичне залізо — тест, який симуляція не може підробити. Автори оцінили LightNav-0 на декількох платформах у різних сценах. Цілі включали статичні об'єкти та рухомих людей. Модель впоралася без будь-якого донавчання на реальних даних.

Скільки роботів? Скільки сцен? Документ не дає точних цифр для реальної оцінки. Заявляється про «різноманітні сцени» та «роботизовані утілення» во множині. Результати симуляції вичерпні — 10 налаштувань, всі одноокулярні, всі найкращі. Твердження про реальний світ — якісне.

Чого немає в архітектурі

Немає спеціалізованих на задачу прогнозних голов — ні окремого детектора об'єктів, ні окремого SLAM-модуля. Немає рукотворної карти вартості. VLM-стовп виконує візуальне ґрунтування. Токени вказівки — просторове мислення. Токенізатор дій — контроль. Чи витримає це довготермінові задачі з важким перекриттям огляду чи несприятливим освітленням — стаття не каже. Бенчмарки зосереджені на навігації. Маніпуляція, багатоагентна координація та відкрите дослідження залишилися не перевіреними.

За стандартами VLM модель компактна. Точна кількість параметрів згадана в повній статті, не в анотації. 14 MB PDF вказує на детальний технічний звіт. Для того, хто будує робота сьогодні, висновок конкретний: один візуально-мовний стовп тепер може замінити стек сприйняття-планування-контроль для навігації, за наявності обчислювальної потужності для VLM і даних для навчання токенізатора.