Що таке ToyBlocks і чому він дає робототехніці спільний тестовий майданчик

Симулятор, що пише власну програму навчання

ToyBlocks — перший FoundationWorld. Кожен FoundationWorld поєднує контрольоване симульоване середовище з інструментами для автоматичного створення завдань і демонстрацій навчання. Окремо генеруються метрики оцінки поведінки робота з часом. Область навмисно вузька: одна робоча рука та кубики на столі. Саме ця вузькість дозволяє задовольнити чотири вимоги одночасно. Реалістична фізика та зовнішність. Автоматична генерація на масштабі. Виклики, що поєднують рассудок із спритністю. Широке покриття можливих завдань у домені.

Навички — поведінка короткого горизонту. Наприклад, просування кубика по столі або перевертання на іншу грань без підйому. Їх вчаться через підсилення та планування руху всередині Isaac Lab, відкритого фреймворку Nvidia для навчання роботів у симуляції. Політики вчаться методом спроби та помилки. Генерація навичок може використовувати привілейовану інформацію — точну позицію та орієнтацію кубика, яку знає симулятор, але реальний робот не бачить — замість оцінки з камерних зображень. Це дає змогу автоматично створювати навички, що інакше вимагали б віддаленого керування роботом людиною.

Планувальник завдань та руху послідовно визначає навички, необхідні для розв'язання завдання, і планує рухи робота між ними. Запуск кожного плану у симуляції дає набір записаних демонстрацій з мітками, що описують, яке завдання або навичку виконує робот. Фреймворк масштабує генерацію даних, виконуючи сотні таких планів паралельно на одному графічному процесорі, досягаючи продуктивності до 24 разів швидше реального часу. Доменна рандомізація змінює розмір кубиків і висоту столу. Інші фізичні властивості також варіюються зі сцени в сцену. Зображення та літери на гранях дозволяють задачі пошуку та сортування. Роботу може знадобитися перевернути кубик, щоб побачити приховану грань, перед тим як вирішити, куди його поставити.

Що контрольоване середовище показує про поведінку моделей

Низькорівневі моделі дій відображають мовні інструкції та візуальні спостереження у дії робота. Припущення: великомасштабне попереднє навчання дозволяє їм швидко узагальнювати. Докази суперечливі. Деякі дослідження повідомляють про крихкість до змін у розташуванні об'єктів та освітленні; інші демонструють хорошу узагальненість. ToyBlocks дозволяє дослідникам перевірити просторову узагальненість у простому, відтворюваному середовищі з значущим різноманіттям у просторі завдань.

Використовується чотири завдання: Stack, Unstack, Flip, Rotate. Дослідження розрізняють інтерполяцію — нові конфігурації в межах навчального діапазону — та екстраполяцію — конфігурації за його межами. Наприклад, моделі навчаються на сценаріях, де об'єкти з'являються лише в лівій області, а тестуються на правій. Або навчаються на висотах стопок 2 і 5 кубиків, а перевіряються на 3 і 4. Незважаючи на великомасштабне попереднє навчання, популярні моделі дій, включаючи ManiFlow, π0.5 та MolmoAct 2, у початкових результатах узагальнюють погано. LoRA — адаптація низького рангу, метод тонкого налаштування з невеликою множиною тренованих оновлень ваг — покращує узагальненість. Тестовий майданчик робить можливим систематичний аналіз внеску кожного методу.

Високорівневі моделі рассудку вирішують, що робити; низькорівневі керують рухами робота. Довгострокові завдання вимагають багатьох кроків. Приклад — складання слова "Ai2" зі стопки кубиків. Оскільки літери можуть бути невидимими одразу, агент спочатку має обрати дії, що розкриють інформацію. Потім планує та виконує послідовність для будівництва стопки. Molmo 2, візіонно-мовна модель, слугує високорівневим планувальником. ManiFlow діє як низькорівнева політика. Низькорівнева модель паузує після завершення навички і запитує у високорівневої наступну інструкцію. Оцінюються три сценарії складності. Найпростіший — символи вертикальні та повернуті до камери. Середній — символи можуть бути не вертикальними. Найскладніший — символи невидимі на початку.

Агентні системи перевіряють, як передові моделі планують та діють через виклики інструментів. Claude Opus 5.5 отримує доступ до навичок ToyBlocks через Model Context Protocol, стандарт для підключення AI-додатків до інструментів. Агент бачить сцену через камерні зображення, викликає навички — pick, flip, rotate — вказуючи на піксель, і вирішує, коли шукати чи будувати. Окремо — коли оголосити завдання завершеним або неможливим. У налаштуванні пошук-і-складання агент мав згенерувати стопки, що складають трилітерні слова, серед до восьми кубиків. П'ятдесят відсотків сцен не мали кубиків із усіма необхідними літерами, роблячи завдання невиконуваним. Агент успішно вирішив або коректно визначив неможливість 63 відсотки завдань. Помилки переважно виникали через плутанину з подібними літерами (13 відсотків) або неправильний вибір орієнтації літери в стопці (15 відсотків). З кубиками, що мають узори, агент закінчує, переглянувши менше граней, бо може вивести, що зображено на прихованих, замість перевірки кожної.

Агент також може вчитися, як ведуть себе його навички. Коли навичка поводиться неочікувано, агент формує гіпотезу, проектує малий тест і оновлює розуміння за результатом. Навчені описи навичок підвищують відсоток успіху з 24 відсотків за стандартних описів до 63 відсотків, перевершуючи 36 відсотків, досягнутих з описами, написаними людиною експертом.

Моделі світу, обумовлені дією, передбачають, як сцена змінюється у відповідь на дії робота. ToyBlocks надає ground truth — фактичний стан симульованої сцени — що дозволяє сувороконтрольні тести. Тестувалися чотири навички: pick-and-place, flip, rotate та змішане завдання. Згенеровано 900 траєкторій для кожної навички. П'ятдесят відсотків — успішні демонстрації; п'ятдесят відсотків — неуспішні через дрібні зміни просторових конфігурацій. При рівній кількості успішних та неуспішних виконань модель, що завжди передбачає успіх, була б правильною лише в половині випадків. Тестувалися три моделі: Wan 2.2, модель прогнозування відео з 5 мільярдами параметрів; Astra, агентна модель, що створила власну фізичну симуляцію, налаштовану під демонстраційні дані; LeWM, латентна модель світу. Wan 2.2 найточніше передбачає рух кубиків та результати завдань. Astra добре відстежує захват, але важко симулює контакт. LeWM швидка і точніша на коротких сегментах взаємодії, хоча дрейфує на повних траєкторіях. Додавання 100 траєкторій, згенерованих найкращою відеомоделлю, підвищує успіх політики в невидимій області з 19 відсотків до 78 відсотків.

Від симуляції до фізичної руки Franka

Sim-to-real оцінки перевіряють політики, натреновані в симуляції, на фізичних роботах, що виконують маніпуляції з кубиками. Використовується рука Franka FR3 з захопом Robotiq у тридцяти сценарних конфігураціях. Кожна сцена містить від чотирьох до десяти кубиків, видимих під час навчання. Епізод вважається успішним лише якщо відповідні кубики переміщено в цільові позиції без зіткнень. Якщо оператор втручається, щоб зупинити робота через небезпечний рух, епізод позначається як невдача.

Відсотки успіху атомарних навичок ManiFlow були схожими в симуляції та реальному світі: 80,0 відсотків і 81,1 відсотків. Ієрархічна система Mol