Як мобільні NPU можуть повторно використовувати KV-кеш, якщо їхні графи статичні?

Чому хмарне KV-кешування не працює на мобільних NPU

KV-кешування зберігає тензори ключів і значень з попередніх токенів, щоб модель не перераховувала їх на кожному кроці декодування. У хмарних GPU граф виконання динамічний: оператори запускаються за запитом, пропускна здатність пам'яті велика, а кеш може вільно зростати або зменшуватися. Мобільні NPU порушують кожне припущення. Їхні обчислювальні графи мають бути повністю скомпільовані заздалегідь. Обсяг пам'яті вимірюється в мегабайтах, а не в гігабайтах. Пропускна здатність I/O між DRAM і прискорювачем — жорсткий вузький місцік. Автори стверджують: ці архітектурні припущення на мобільних NPU не виконуються. Це не працює. Локальна персональна інтелектуальність залежить від вирішення цього розбіжності.

Внутриграфовий механізм

Автори пропонують внутриграфовий механізм, який відображає селективне переобчислення KV на статичний граф NPU. Замість того щоб трактувати кеш як монолітний блок, вони визначають, які тензори KV можна повторно використовувати між запитами, а які потрібно перераховувати. Статичний граф тоді вбудовує обидва шляхи: швидкий шлях повторного використання для збігів префіксів і шлях переобчислення для розбіжних суфіксів. Це примиряє алгоритмічну динамічність зі статичністю NPU. Механізм працює виключно всередині попередньо скомпільованого графа — перезапис графа під час виконання відсутній. Граф незмінний.

Міжграфовий планувальник

Другий компонент планує роботу між кількома статичними графами. Міжграфовий планувальник об'єднує фрагменти запитів і мінімізує доповнення за допомогою динамічного програмування.

Ієрархічний менеджер KV

Для подолання обмежень пропускної здатності стаття вводить ієрархічний менеджер KV. Його індекс поєднує деревоподібну структуру та хеш-пошук