Чи здатна одна IMU-модель розпізнавати будь-яку активність на будь-якому датчику?
Нова базова модель HALO вчиться зчитувати дані руху практично з будь-якого інерційного датчика без перенавчання. Вона пов'язує сирі потоки даних з акселерометра та гіроскопа з описами природною мовою, дозволяючи називати активності, яких не бачила під час навчання.
Інерційний вимірювальний блок є в кожному телефоні та годинці. Також у фітнес-браслетах. Дослідники роками намагаються створити єдину модель, що розуміє їх усі.
Проблема має два виміри. Датчики відрізняються частотою дискретизації та кількістю осей. Їхнє розташування на тілі теж відрізняється. Мітки також розбіжні — один набір даних називає це «ходьба», інший — «пересування», третій — «локамоція». HALO вирішує обидві задачі одночасно.
Токенізатор, адаптований до гетерогенності
На першому етапі попередньо навчається кодер IMU з трьома компонентами. Токенізація з адаптивним пулінгом передискретизує будь-який вхідний потік до фіксованої довжини токена незалежно від початкової частоти. Незалежне від каналу вилучення ознак обробляє кожну вісь окремо, тому триосевий годинник і шестиосевий дослідницький вузол використовують однаковий фундамент. Контекстуальне умовне моделювання датчика вбудовує безкоштовний текстовий опис кожного каналу — «акселерометр лівої руки X» — безпосередньо в ембедінг.
Ручного вирівнювання немає. Адаптерів під кожен набір даних теж. Модель сама вчиться відображати гетерогенні сирі сигнали в спільному латентному просторі.
Вирівнювання з мовою без жорстких міток
Другий етап поєднує заморожений кодер з текстовим. М'яке контрастичне навчання з урахуванням синонімів зближує відповідні пари IMU-текст і відштовхує неспівпадаючі. «Ходьба» та «пересування» отримують схожі градієнти, бо їх ембедінги
Джерела, за якими написано статтю
- "arXiv:2608.27233v1
https://arxiv.org/abs/2608.27233v1"