Як модель із 37 тисяч параметрів виконує покращення мови в реальному часі на мікроконтролері?

Дослідницька стаття демонструє: нейромережа мінімального розміру очищує мову на мікроконтролері. У моделі — лише 37 тисяч параметрів.

Стіна заліза

NPU мікроконтролерів прискорюють інференс у суворих обмеженнях: латентність, пам'ять, енергобюджет. Прискорювачі підтримують лише обмежений набір операторів у статичних цілочисельних графах. Сучасні мережі для покращення мови скоротили параметри та MAC-операції до рівнів, що формально підходять для мікроконтролерів. Їхні оператори та патерни виконання часто залишаються несумісними з обмеженими NPU. Проблема не теоретична — вона виявляється, коли модель, виглядаюча компактно на папері, не запускається на реальному кремнії. Автори саме цю задачу й вирішують.

Адаптація LiSenNet під Neural-ART

Мета — акселератор Neural-ART на STM32N6570-DK. Вихідна точка — LiSenNet у 37 тисяч параметрів. Рекурентне вузьке місце замінено на конволюційні міксери.

Результати квантизації на VoiceBank-DEMAND

Фінальна NPU-сумісна модель не поступається рекурентному базовому LiSenNet: FP32 PESQ — 3,08 проти 3,01, Int8 PESQ — 3,01 проти 2,93. Якість не коллапсує після квантизації. Обмежені активації декодера утримують динамічний діапазон. Стаття не повідомляє про суб'єктивні слухові тести. Порівняння з великими серверними моделями відсутнє.

Часи на пристрої

На мікроконтролері модель обробляє кожен 16-мілісекундний хоп за 4,83 мс (коефіцієнт реального часу 0,30).

Обмеження звіту та суть підходу

Документ не наводить вимірювань споживання енергії, обсяг пам'яті у кілобайтах не вказано, код та чекпоінти не опубліковано, інші NPU не тестували. Кількість параметрів і сумісність операторів мають проектуватися разом із діапазоном квантизації та постійним стрімінг-станом. Оптимізація одного виміру в ізоляції провалює на обмежених NPU. Стаття демонструє це робочою реалізацією. Принцип переноситься, але конкретні цифри належать саме цьому залізу і саме цій моделі.