Чому цикличні моделі все ще потребують окрему пам'ять для кожного проходу?

Як цикличні моделі накопичують пам'ять

Цикличні архітектури багаторазово використовують один блок шарів. Кожен прохід під час інференсу створює власний кеш ключ-значення, що накопичується в пам'яті. Обсяг пам'яті зростає лінійно з кількістю рекурсій. Ранніші роботи помічали: кеш останньої рекурсії іноді замінює попередні без втрати якості. Автори назвали це KV-shareability. Чому вона з'являється в деяких навчених моделях, а в інших — ні, досі незрозуміло. Навіть ідентичні запуски не показують її стабільно.

Двостадійне рішення: стохастична глибина та BeNice!

У статті пропонується свідомий, контрольований шлях до спільного використання кешу між проходами. Перше — стохастична глибина під час претренування змушує залишкову динаміку стискатися. Представлення між рекурсіями зходять до спільної межі. Друге — пост-тренувальний етап BeNice! передає кеш останньої рекурсії прямо в першу. Перша рекурсія вчиться видавати залишки, сумісні з тим спільним кешем. Валідаційна перплексія дорівнює файн-тюнінгу з окремими кешами.

Що показують числа на практиці

Симуляції довгоконтекстного запуску при суворо обмеженій пам'яті демонструють конкретний практичний приріст. Відсоток попадань у кеш зростає до 31,4 %. Пропускна здатність підвищується до 23,6 %. 90-й перцентиль часу до першого токена падає до 83,6 %. Дані взято з експериментів авторів.

Як метод поєднується з іншими трюками стиснення

KV-sharing сумісний з ортогональними техніками. Автори згадують multi-latent attention та Kimi delta attention як міксери послідовностей, що виграють. Також перелічують формати низької точності — fp8, mxfp8, nvfp4 — які стакуються зі спільним кешем. Стаття не стверджує, що список вичерпний.

Що залишається без відповіді

Робота не вимірює, скільки існуючих цикличних моделей вже мають shareability без втручання. Відсутні дані про wall-clock латентність на конкретному залізі. Дата подачі — 22 жовтня 2026 року.