Як OPTIC стискає пер-слові ембедінги в 100 разів, зберігаючи 97,8% продуктивності моделі?

Чому пер-слові ембедінги стали ціллю стиснення

Пер-слові ембедінги знаходяться всередині кожного трансформерного шару і ростуть разом із масштабуванням моделей. У Gemma 4 E4B вони займають 35,2% усіх параметрів. Така частка робить їх очевидними кандидатами для стиснення, коли пам'ять стає дефіцитом. Автори статті зазначають: масштабування ємності ембедінгів паралельно з обчисленнями трансформера стає новим трендом у мовних моделях. Стиснення стає критичним.

У чому OPTIC відрізняється від стандартного квантування

Звичайні квантувачі призначають кожному токен-шаровому вектору власний дрібний код усього декілька байтів. OPTIC йде іншим шляхом. Метод зберігає один квантований кортеж кодів на токен і декодує його на кожному шарі за допомогою афінного декодера, специфічного для шару. Коди та декодери підлаштовуються під вихідний шлях PLE, а не під збережені вектори. Саме ця міжшарова латентна векторна квантизація описується в назві.

Що показують бенчмарки на трьох рівнях стиснення

При стисненні моделі BF16 E4B приблизно в 100 разів OPTIC зберігає сумарні 97,8% продуктивності необробленої моделі за сімома бенчмарками. Квантування добутку — найсильніший з шести класичних базових ліній — утримує 66,3%. При 594× і 1002× стисненні OPTIC показує 90,5% і 84,1% відповідно. На офіційному релізі E4B з 4-бітними лінійними вагами та 16-бітними активаціями метод дає 96,9% при близько 100× стисненні.

Пам'ять та швидкість під час інференсу

Під час інференсу при близько 100× стисненні PLE модель BF16 E4B витрачає на 29,7% менше пам'яті GPU, ніж із необробленим PLE при однаковому розмірі кешу ключ-значення. Загальне сповільнення не перевищує 0,40%.

Де стаття закінчується

Автори не повідомляють, скільки моделей E4B вже розгорнуто у продакшні. Вони також не порівнюють OPTIC з методами, що стискають сам кеш ключ-значення. Код доступний, але точні умови ліцензії в анотації не зазначені.