Як ResidualQuant скорочує KV-кеш рекурентних трансформерів до 2-бітових залишків?

Чому рекурентні трансфори натрапляють на стіну пам'яті

Рекурентні трансфори повторно використовують один блок параметрів у кількох проходах. Це додає обчислювальної глибини без збільшення ваг. Проблема в тому, що кожен прохід записує власні тензори ключів і значень у кеш. Пам'ять тому росте лінійно з кількістю циклів. Великі батчі швидко вичерпують VRAM, обмежуючи пропускну здатність. Стандартне квантування KV стискає ці тензори до менших біт. На агресивних налаштуваннях — INT4 і нижче — якість різко падає. Автори зазначають: існуючі методи на основі ротацій все ще втрачають помітну точність на INT2. Вузьке місце залишається невирішеним.

Пам'ять закінчується миттєво.

Ідея залишків

Дослідники помітили: KV- стани сусідніх циклів дуже схожі. ResidualQuant бере тензори останнього циклу за еталон і зберігає лише різницю для попередніх. Ці залишки малі за модулем, тому витримують екстремальне квантування.

Конвеєр додає три складових. Найменші квадрати знаходять оптимальний масштаб на канал перед округленням. Ротації розподіляють помилку квантування по вимірах. Смішана точність по циклах дає більше біт тим проходам, що важливіші. Разом це дає INT2 залишки з ефективним відновленням.

Виміряні прискорення на RTX 5090

Теоретичний обсяг KV-зберігання падає на 80,7 відсотка. При тому ж бюджеті пам'яті метод перевершує ротаційну базлайну аж на 13,0 відсотка точності на бенчмарках з математичного рассудження та генерації коду. Пропускна здатність фіксованого батчу зростає до 2,73×. Менший слід дозволяє батчі в 2 рази більші, гнаючи піковий тхруптут до 4,15×.

Стаття не повідомляє латентність для стрімінгу одного запиту. Відсутнє порівняння з нерекурентними моделями еквівалентної глибини. Поведінка на довших контекстах чи при іншій кількості циклів не специфікована. Обмеження залишаються відкритими.