Чому розріджені нейронні активації прискорюють мовні моделі на нейроморфних чіпах?

Що не так із щільними проєкціями

Трансформери зберігають кожен токен у кеші ключ-значення. Його розмір зростає разом із довжиною послідовності. Увага масштабується квадратично. Моделі стану замінюють кеш фіксованим рекурентним станом та лінійною увагою. Проблема пам'яті зменшується. Проблема обчислень залишається. Кожен шар все ще виконує великі щільні матричні множення. Квантування допомагає, але не усуває операції. Автори називають їх обчислювально дорогими навіть після квантування.

Як працює поріг

Автори додають навчальний поріг Δ до кожної лінійної проєкції. Активації менші за ±Δ стають нулями. Більші значення проходять без змін. Викиди зберігаються. Поріг адаптується для кожної проєкції під час навчання. Ручне налаштування не потрібне. Модель залишається квантованою. Розрідженість виникає без додаткових параметрів. Якість залишається на рівні щільних моделей. Ефективні арифметичні операції зменшуються аж у чотири рази.

Розрідженість неструктурована.

Від розрідженості до пропускної здатності

Неструктурована розрідженість зазвичай шкодить продуктивності GPU. Потоки розбігаються. Доступ до пам'яті стає хаотичним. Нейроморфні чіпи працюють інакше. Вони обробляють події. Нульова активація не генерує подію. Без події — без обчислень і зв'язку. Стаття прогнозує аж у чотири рази менше ефективних арифметичних операцій порівняно зі щільною базовою лінією. На багатозадній багатокристальній платформі це дає тридцять сім разів вищу пропускну здатність і шістнадцять разів менше споживання енергії. Базова лінія без розрідженості на тому ж залізі покращується в п'ять кома чотири рази.

Де взялися цифри

Цифри тридцять сім і шістнадцять — це прогнози. Вони порівнюються з порівнянною трансформерною моделлю на периферійному GPU. Виграш у п'ять кома чотири рази — порівняно з тією ж моделлю лінійної уваги без розрідженості на нейроморфній платформі. Реальні вимірювання на кремнії в документі відсутні. Статтю прийнято на IEEE MCSOC2026, вона займає вісім сторінок і містить чотири рисунки.