Чому тернарне множення матриць прискорюється, коли більшість ваг — нулі?

Новий метод Sparse Segment Reduction прискорює базову математику тернарних великих мовних моделей. Він поєднує спеціальний формат даних з алгоритмом, що пропускає нульові значення через деревоподібні структури, даючи вимірювані прискорення на реальних моделях.

Проблема тернарних ваг

Великі мовні моделі вимагають величезних обчислень. Тернарна квантизація стискає ваги до трьох значень — мінус одиниця, нуль, плюс одиниця — і часто 50–90 % з них стають нулями. Існуючі системи на кшталт BitNet і RSR добре обробляють тернарну частину, але ігнорують розрідженість. Стандартні розріджені формати роблять навпаки: відстежують нулі, але втрачають тернарну структуру. Обидва підходи залишають продуктивність невикористаною.

Ця прогалина важлива, бо тернарні моделі вже працюють на периферійних пристроях. Кожна пропущена операція економить заряд і зменшує затримку. Проте жоден поточний ядро не використовує обидві властивості одночасно. Стаття формулює це як можливість подвійної оптимізації, яку існуюча робота пропускає.

Формат, створений для обох властивостей

SSR запроваджує спеціальний тернарний розклад даних. Він зберігає лише ненульові значення та їх позиції, використовуючи компактне кодування, яке зберігає знак. Формат уникає накладних витрат загальних розріджених матриць і одночасно тримає тернарну арифметику простою. Окремі індексні масиви відсутні. Розгалуження за типом значення теж. Розклад безпосередньо передається на наступний етап.

Такий дизайн означає: обсяг пам'яті зменшується разом із розрідженістю. При 90 % нулів представлення наближається до теоретичного мінімуму для тернарних даних. Автори не публікують точні байти на шар.

Дерева обчислень, що зростають із розрідженістю

Алгоритм організовує операції множення-додавання у дерева. Кожне дерево об'єднує часткові суми від ненульових елементів. Чим вища розрідженість, тим менші дерева. Менше листків — менше додавань. Глибина масштабується логарифмічно від кількості ненульових записів у рядку. Це не фіксований розклад — він адаптується до реального шару в кожному шарі.

Будова дерева відбувається раз на матрицю ваг. Витрати амортизуються по ходу інференсу. Для статичних моделей це разові накладні витрати. Стаття не обговорює динамічну розрідженість чи донавчання.

Виміряні виграші на GEMM і повних моделях

На тернарних ядрах GEMM з 45–95 % розрідженістю SSR перевершує RSR++ у 2,1–11,3 разів. Розрив розширюється разом із кількістю нулів. Повний інференс на Llama-3 1B дає прискорення 3,5–6,3 рази порівняно з RSR++. Пам'ять падає на 4,9 %. Ці цифри наведено для публікації DATE 2026. Результатів для більших моделей чи тренування немає.

Числа прискорення отримано на GPU. CPU і спеціалізовані акселератори не оцінювали. Автори зазначають, що RSR++ сам по собі покращує BitNet і RSR, отже базлайн уже оптимізований для тернарної арифметики.

Обмеження підходу

Нижче 50 % розрідженості теоретична перевага зникає. Дерева більше не скорочуються достатньо, щоб перекрити витрати на їх управління. Автори не називають точку перетину жорстко. Вони також не порівнюють з густими тернарними ядрами на залізі без підтримки розрідженості. Розгортання на таких пристроях залишається відкритим питанням.

Реальна розрідженість залежить від рецепту квантизації та розміру моделі. Діапазон 50–90 % у анотації походить з попередніх робіт над тернарними LLM, не з власних замірів SSR. Як часто продакшн-моделі потрапляють нижче порогу — не розглянуто.