Чи здатні чотирибітні n-грамні таблиці скоротити пам'ять у чотири рази без втрати продуктивності?

Деякі мовні моделі зберігають додаткові таблиці для коротких послідовностей токенів. Дослідники довели: ці таблиці можна тримати у чотирибітному форматі замість повної точності.

Як працюють таблиці послідовностей

Сучасні відкриті мовні моделі доповнюються n-грамними таблицями вбудовувань для підвищення якості. Ці структури містять вивчені представлення коротких ланок токенів — пар або трійок, що йдуть підряд. Під час обробки модель звертається до них. У DeepSeek-V4.1-Flash на Engram-пам'ять виділено 196 мільярдів параметрів. Такий обсяг вимагає значної пам'яті.

Чому обсяг пам'яті критичний

N-грамні таблиці лежать поруч з основними вагами. Вони діють як кеш для поширених шаблонів токенів. Коли модель бачить знайому пару чи трійку, вона бере готове представлення замість повторного обчислення. Це прискорює інференс і підвищує якість. Але таблиці ростуть швидко. Таблиця на 196 мільярдів параметрів у 16-бітному форматі займає багато місця. Навіть у 8-бітному вигляді вона потребує 196 гігабайт. Це виключає багато сценаріїв розгортання.

Чотири біти зберігають майже весь ефект

Автори пропонують тримати n-грамні вбудовування з низькою точністю. Вони систематично дослідили різні методи квантизації та розподіл бітів між таблицями. На моделях родин nanochat та Llama чотирибітні таблиці економить близько 75 % пам'яті. Перевірено також на GPT-2. Вони зберігають понад 99 % покращення функції втрат на валідації.

Функція втрат на валідації практично не змінюється

Перплексія зростає менше ніж на 1,2 % у DeepSeek-V4.1-Flash та Qwen3.8-Flash-Next. Пам'ять під таблиці падає на 47–55 %. Якість на downstream-завданнях залишається майже незмінною.

Менша бітність посилює втрати

Зменшення кількості бітів дає більший спад якості. Короткий донавчання відновлює значну частину втрат. У анотації не вказано, скільки бітів вважається меншими. Також відсутня точна оцінка відновлення після донавчання.

Вільний простір дозволяє розширити таблиці

Економлену пам'ять можна вкласти в більші таблиці. Це дає приріст якості порівняно з оригінальними повністю точними таблицями, при цьому загальний обсяг пам'яті залишається меншим. Це вказує на