Як WUSH-KV стискає KV-кеш, не ламаючи увагу?
Новий препринт представляє WUSH-KV — метод, що квантує ключово-значенні кеші до двох біт на компоненту. Він будує перетворення, спираючись на статистику калібрування, і вбудовує перетворення значень у ваги моделі, щоб під час виведення не виникало додаткових множень.
Чому кеш став вузьким місцем
Кожен шар трансформера зберігає вектор ключа та вектор значення для кожного обробленого токена. Контексти в десятки й сотні тисяч токенів роблять ці вектори головними споживачами пам'яті та пропускної здатності. Квантування кешу виглядає очевидно. Просте квантування ламає оцінки уваги.
Як WUSH-KV формує перетворення
Автори адаптують WUSH — техніку, створену спочатку для квантування ваг. WUSH будує лінійне перетворення з другої порядку статистики обох матриць у матричному добутку. Для ключів це добуток запиту на ключ. Для значень — добуток ваг уваги на значення. Дані калібрування проходять через модель один раз. Коваріації ключів і значень оцінюються окремо. Отримані перетворення обертають простори так, що простий обмежений афінний квантизатор вносить мінімальну помилку.
Одне перетворення офлайн, інше під час виконання
Перетворення значень вбудовуються у ваги вихідної проекції блоку уваги. Модель змінюється один раз офлайн. Квантовані значення запису
Джерела, за якими написано статтю
- "arXiv:2609.38121v1
https://arxiv.org/abs/2609.38121v1"