Як робот вчиться новій роботі з одного відео?

Одне демонстрування замінює місяці збору даних

Заводський робот зазвичай вимагає нового набору даних і повного перенавчання при кожній зміні продуктової лінії. Модель S1 від Skild AI пропускає цей цикл. Оператор записує коротке відео потрібного завдання — посадка рослини, заварювання pour-over кави — і передає його моделі як запит. Система розуміє намір та об’єкти. Потім вона перетворює послідовність на дії для робота перед собою. Оновлення ваг не потрібні. Донавчання під конкретне завдання теж. Метод називається in-context learning.

У тесті з посадкою рослини команда перейшла від запису демонстрації до автономного виконання на «залізі» за 11 хвилин. Робот адаптується, коли об’єкти зсуваються. Він відновлюється після помилок. Також поєднує навички в послідовності, яких ніколи не програмували явно. Завдання можуть тривати до 10 хвилин і охоплювати десятки маніпуляційних кроків. Збірка комплектів — ще один приклад, який продемонструвала компанія.

Цифри, що підтверджують твердження

На нових багатокрокових завданнях S1 вдавалося близько 66 відсотків разів на кожному кроці. Схожа система AI набрала 9 відсотків. Це більше ніж сімкратне покращення. Skild також оцінює: один короткий приклад на відео може бути таким самим корисним, як приблизно 380 практичних тренувальних прикладів. Людина, яка збирає їх вручну, витратить 50–100 годин.

Компанія досягла річного темпу виручки в 100 мільйонів доларів через 10 місяців після першого комерційного впровадження. За цей час створено понад 60 партнерств з розгортанням. Робота охоплює виробництво та логістику. До сфери застосування належать інспекція та безпека. Також харчове виробництво.

Від лабораторії до конвеєра Blackwell

Foxconn і NVIDIA вже розгортають Skild Brain на дворуких маніпуляторах для високоточної збирання систем NVIDIA Blackwell. У одному продемонстрованому сценарії робот встановлює шину та лімітний блок. Закручує 16 гвинтів. Адаптується до збурень у багатокроковому завданні. Потрібні точний рух та контроль контакту. Також відстеження послідовності й відновлення, коли сцена відхиляється від плану.

Де дозволяють домовленості з клієнтами, досвід комерційних розгортань повертається у ширшу модель і прискорює майбутні впровадження.

Технологічний стек NVIDIA всередині

Прискорене обчислення NVIDIA дає Skild масштаб для навчання спільного «мозку» робота. Використовуються симуляція та людські відео. До джерел даних також належать телеоперація. А також дані із розгортання. Відкриті світові базові моделі NVIDIA Cosmos допомагають диверсифікувати тренувальні дані. Перетворюють відео на структуровані описи. Cosmos Curator анотує та фільтрує дані на великому масштабі. Також організовує їх.

Бібліотеки Omniverse та фреймворк Isaac Sim надають фізично базовані віртуальні середовища. Вони генерують дані та перевіряють граничні випадки. Валідують поведінку. Посилене навчання запускається в Isaac Lab — відкритому модульному фреймворку для навчання роботів на двигуні фізики Newton. Newton допомагає інженерам точно моделювати сили та контакт. Зіткнення та тиск. Зменшує розрив між симуляцією і реальністю.

Skild і NVIDIA спільно розробляють нові GPU-прискорені солвери симуляції. Вони швидко і точно моделюють, як роботи фізично чіпають та стискають об’єкти. Маніпулюють твердими об’єктами. Вони скоро стануть доступні всім розробникам як частина Newton. Коли моделі йдуть у продакшн, інструменти NVIDIA Nsight знаходять вузькі місця продуктивності під час навчання. SDK TensorRT оптимізує інференс, щоб роботи могли швидко реагувати в фізичному світі. Ці технології з’єднують дані, симуляцію, навчання та розгортання замість того, щоб трактувати їх як окремі системи.