Як розумні окуляри адаптують ШІ без відправки кадрів камери?

Чому кадри створюють проблему

Нейромережі на розумних окулярах постійно стикаються з розбіжністю розподілів. Вхідні пікселі змінюються, коли носій переходить з сонця в тінь, з приміщень на вулицю. Перетренування на пристрої неможливе — обчислювальні ресурси та батарея занадто обмежені. Відправка кожного кадру на зв'язаний телефон або едж-сервер вичерпує пропускну здатність і розкриває приватне відео. Стаття, подана 21 жовтня 2026 року, пропонує інший договір: окуляри зберігають пікселі, хост тримає копію моделі, а через зв'язок проходить лише невеликий математичний звіт. На окулярах легке перетворення переводить кожне зображення у частотний дескриптор. Дескриптор — це сітка коефіцієнтів, що ловлять спектральний зміст сцени. Розмір сітки регулюється: автори перевіряли від 224 до 28 пікселів. Кадри камери не покидають пристрій. Хост отримує дескриптор, перетворює його на оператор зміщення розподілу і синтезує зразки поза розподілом. Ці синтетичні дані запускають заздалегідь заданий протокол адаптації на копії моделі хоста. Оновлені ваги повертаються назад — або сам оператор досить малий, щоб його передати — і окуляри продовжують інференс з моделлю, що відповідає новим умовам.

Кадри залишаються приватними.

Результати на трьох архітектурах і двох задачах

Фреймворк оцінювали на поєднаннях пошкоджень ImageNet-C з трьома архітектурами: згортковою ConvNeXtV2-Femto, на самозваженні DeiT-Tiny та гібридною TinyViT-5M. Адаптація, керована виключно переданими дескрипторами, відновлює 93–95 % приросту від повністю супервізованого оракула на всіх трьох архітектурах. При класифікації людей за Visual Wake Words відновлення сягає 82 %. При детекції о��'єктів на MS-COCO — 94–98 %. У статті немає затримок чи енергетичних вимірювань для обчислення дескриптора на пристрої.

Полоса зменшується разом з роздільною здатністю

Роздільна здатність дескриптора керує компромісом приватність — пропускна здатність — точність. Якість плавно падає, коли сітка скорочується від 224 до 28 пікселів, і це стабільно повторюється на всіх архітектурах. Такий діапазон дає скорочення пропускної здатності у 213–784 разів порівняно з передачею повних кадрів. Автори не вказують абсолютний бітрейт для кожної роздільної здатності, ні часу кругового маршруту для повного циклу адаптації.

Що насправді обчислюють окуляри

Перетворення на пристрої — фіксована спектральна декомпозиція. Навчених параметрів немає, зворотного поширення помилки на окулярах теж. Це робить обчислювальний слід передбачуваним. Хост бере на себе важку роботу: відображення дескриптора в оператор, синтез даних, запуск протоколу адаптації. Такий поділ залишає окуляри простими, а якість адаптації наближається до повністю супервізованого оракула. Чи має хостом бути смартфон, домашній хаб чи хмарний екземпляр — у документі не задано.