Як слуховий апарат розуміє, який голос ви хочете чути?

Новий препринт описує NeuroCodec — систему, що зчитує мозкові сигнали, щоб виділити один голос із натовпу. Вона працює на повній аудіочастоті і досить швидка для пристроїв реального часу.

Чому маскування не спрацьовує

Сучасні слухові пристрої намагаються виділити потрібного говірця, придушуючи зайві частоти. Метод базується на часово-частотному маскуванні. Він ламається, коли голоси перекриваються і за часом, і за частотою. Обмеження вузькосмуговим аудіо залишається типовим. Результат звучить глухо і втрачає деталі. Нейроскероване декодування слухової уваги використовує електроенцефалографію, щоб зрозуміти, на якому голосі зосереджений мозок. Існуючі реалізації все ще накладають маски в часово-частотній області. Спектро-часове перекривання — головна причина помилок. Вузькосмугове обмеження відсікає високі частоти, що несуть чіткість приголосних.

Латентний простір змінює правила гри

NeuroCodec йде іншим шляхом. Він працює в латентному просторі нейронного аудіокодека. Автори називають це першим генеративним фреймворком виділення цільового говірця, керованим ЕЕГ, побудованим саме так. Просторові залежності в сигналі ЕЕГ моделюються графовими згортками. Перехресна модальна фузія представлень ЕЕГ і мови використовує механізми уваги та часову моделювання на базі Mamba. Система вчиться відновлювати слуханий голос, а не просто фільтрувати суміш. Нейронний аудіокодек стискає хвилеформу в компактне латентне представлення. Генеративне моделювання в цьому просторі уникає обмежень роздільної здатності маскування. Графові згортки улавлюють топологію розміщення електродів. Шари Mamba обробляють довгострокову часову структуру в обох модальностях. Увага вирівнює запит, отриманий з ЕЕГ, з латентним кодом мови.

Шість етапів до стабільної генерації

Навчання йде за шісетапною програмою. Кожен етап додає нову мету. Спочатку — латентна реконструкція. Потім — багатомасштабні спектральні втрати. Насамкінець — антагоністичні цілі. Така послідовність стабілізує оптимізацію і підвищує якість. У статті не сказано, скільки епох займає кожен етап.

Що показало слухове тестування

У слуховому експерименті взяли участь двадцять осіб. NeuroCodec отримав середнє 82,24. M3ANet — 49,63. Розрив значний. Спектральний аналіз підтверджує перевагу у сприйнятті. Система відновлює сигнал при 44,1 кГц з вмістом до 20 кГц. Ця смуга відповідає межам людського слуху. Експерименти на публічних наборах Cocktail Party і KUL доводять: NeuroCodec перевершує базовині за кількома перцептивними метриками. Додаткова сторінка містить аудіофайли та спектрограми для порівняння. Про наявність коду в препринті не згадується.

Потокова обробка для реальних пристроїв

Каузальна потокова формула розширює модель. Вона обробляє кадри по мірі надходження. Затримка залишається низькою для слухових апаратів. Автори надають додаткові результати за посиланням на проєкт.