Як симетрія скорочує пам'ять, потрібну великим мовним моделям для довгих діалогів?

Новий препринт описує метод VFold, що об'єднує кеші значень між шарами трансформера без зміни архітектури моделі. Підхід зменшує споживання пам'яті, зберігаючи якість генерації, і практично не додає накладних витрат під час декодування.

Кеш, що розростається з кожним токеном

Великі мовні моделі зберігають ключово-значення кеш для кожного шару під час генерації тексту. Цей кеш дозволяє моделі звертатися до попередніх токенів без повторних обчислень. Чим довший діалог, тим лінійніше зростає кеш. На великих контекстах він стає основним споживачем пам'яті. Стаття, подана 8 жовтня 2026 року, визначає цей кеш як головне вузьке місце для масштабування контекстних вікон. Нестача пам'яті змушує розробників або обрізати історію, або купувати більш потужні GPU. Жоден варіант не масштабується добре.

Симетрія між шарами

Автори помітили: кеші значень у різних шарах часто містять подібну інформацію. Цю подібність вони називають симетрією. Замість окремого кешу для кожного шару VFold об'єднує кеші, що проявляють симетрію. Злиття відбувається під час декодування. Архітектура моделі не змінюється. Єдине доповнення — легкий крок злиття перед обчисленням уваги.

Стиснення без втрати якості

У анотації зазначено: стратегія скорочує пам'ять кешу, уникаючи шкідливого погіршення продуктивності. Архітектурних накладних витрат під час декодування теж немає.

Поєднання з іншими методами

Метод сумісний з існуючими техніками стиснення. Приклади — квантування з високим коефіцієнтом та скорочення кешу ключів. Коли VFold поєднують з цими підходами, сукупний коефіцієнт стиснення перевищує результат кожного окремого методу. Додаткові витрати описані як мінімальні. Це головна теза.

Що це дає для розгортання

Менший кеш поміщається в пам'ять GPU, яка раніше була занадто малою для довгих контекстів. Розробники можуть обслуговувати триваліші діалоги на тому ж залізі. Перетреновувати модель не потрібно. Ваги не змінюються. Змінюється лише керування кешем під час інференсу. Автори вважають знайдену резервну потужність у кеші значень значним невикористовуваним ресурсом. Він залишався непоміченим.

Обмеження поточного звіту

Препринт — єдина версія на arXiv. Рецензій немає. У анотації відсутні бенчмарки. Точні коефіцієнти стиснення не наведено. Список перевірених моделей не розкрито. Залізо для вимірювань не описано. Деталі алгоритму злиття в анотації відсутні. Ліцензія коду не згадана.