Як спайкова мережа досягає помилок у один цифровий розряд без матричних множень?

Спайкові нейромережі давно обіцяли енергоекономію через розріджені, подієві обчислення. Неперервні завдання — автоматичне розпізнавання мови — залишалися слабким місцем.

Гузом став leaky integrate-and-fire нейрон. Його спад мембрани стирає інформацію на паузах і фонемних межах, а той самий блок має одночасно виділяти ознаки і зберігати довгостроковий контекст. Автори називають це подвійне навантаження головною причиною провалів SNN у ASR.

Коркова розділення праці

Біологія вирішує проблему, відокремлюючи нелінійну фільтрацію в дендритах від соматичної інтеграції. Автори відображають це розділення в модулі, яку називають Spiking Ternary GRU (stGRU). Тернарно-ваговий гейтований рекурентний блок виконує тимчасову фільтрацію. Нижчестоячі resonate-and-fire нейрони генерують бінарний спайковий потік, що веде подієвий шлях наступного блоку. Бінарна передача подій стає нативним обмеженням навчання, а не окремим кроком квантування активацій на етапі розгортання. Разом із тернарними вагами навчені проекції уникають щільних floating-point матричних multiply-accumulate операцій повністю. Мережа не містить навченого ANN послідовного декодера.

Результати бенчмарків

Три розміри моделей навчалися end-to-end на LibriSpeech-960. Мала і Середня stGRU досягають 8,09 % і 7,04 % WER на test-clean. Великий варіант показує $6,44 \pm 0,17%$ WER. Зовнішньої мовної моделі не використовували. На відомості авторів, це перші безматричні спайкові мережі з однозначним WER на LibriSpeech. Архітектура також видає 10,88 % test CER на Aishell-1 (9,28 % на dev) при навчанні з нуля.

Що показує навчена мережа

Навчені мережі формують глибинну ієрархію без явного нагляду. Плиткі шари діють як швидкі акустичні фільтри. Глибокі шари стають повільними семантичними інтеграторами, чиї латентні представлення розділяються на маніфolds частин мови і слово-спайкові події. Частоти спайків у глибоких шарах підкоряються логнормальним розподілам із градієнтом розрідженості. Цей образ відображає ієрархічну обробку, спостережену в людській корі in vivo. Стаття трактує цю відповідність як доказ біологічного ґрунтування архітектурного індуктивного зміщення.

Обчислювальні та пам'ятні наслідки

Оскільки forward pass використовує лише тернарні ваги та бінарні спайки, моделювані обчислювальні та пам'ятні витрати виглядають вигідно порівняно з щільними floating-point базовими лініями. Стаття не повідомляє wall-clock затримки чи замірів на нейроморфних чіпах. Також не зазначено, скільки параметрів у кожному розмірі моделі. Подання — 22 сторінки, 6 фігур. Опубліковано 21 жовтня 2026 року чотирма авторами: Pavlos Poulos, Katelyn Sadorf, Themos Stafylakis, Costas A. Anastassiou.