Як SQuAT робить решіткову квантизацію робочою для мільярдних моделей?

Чому стандартний VQ-QAT натрапив на межу

Векторна квантизація упаковує багато ваг у одну запис кодової книги. Решіткові кодові книги, наприклад, на основі кореневої системи $E_8$, дають чудовий компроміс між швидкістю та спотворенням. Проблема виникає при спробі натренувати квантовану модель від початку до кінця. Прямий оцінювач (straight-through estimator), застосований до всього квантизатора, трактує кодову книгу як плоску таблицю пошуку. Він ігнорує те, що точки решітки лежать на сфері, а кожна вага природно розділяється на напрямок і довжину. Градієнтні оновлення тоді витісняють ваги з многовиду, де знаходиться кодова книга. Результат — нестабільне тренування, яке ніколи не демонстрували за межами дрібних моделей та кількості токенів.

Стандартний VQ-QAT не масштабується.

Розділення форми та масштабу

SQuAT розкладає кожен вектор ваг на нормалізований напрямок і скалярний коефіцієнт. Напрямки квантуються проти сферичної кодової книги $E_8$. Коефіцієнти проходять через низькобітний скалярний квантизатор. Кожен шлях отримує власний прямого оцінювач. Оцінювач напрямка генерує оновлення, що залишаються в дотичному просторі сфери. Це еквівалентно запуску ріманової оптимізації без обчислення експоненціального відображення. Оцінювач коефіцієнта працює в звичайному евклідовому просторі. Оскільки два оцінювачі окремi, оновлення напрямка ніколи не просочується в коефіцієнт і навпаки. Стаття показує: єдиний спільний STE не здатний відтворити цю поведінку. Також зазначається, що неявна сферична геометрія виникає автоматично з окремих оцінювачів. Додатковий крок проекції не потрібен.

Окремі STE змінюють усе.

Оновлення напрямку залишається на многовиді. Оновлення коефіцієнта — в евклідовому просторі. Вони ніколи не перетинаються. Єдиний спільний STE не здатний відтворити цю поведінку. Стаття доводить: неявна сферична геометрія виникає автоматично з окремих оцінювачів. Додатковий крок проекції не потрібен.

Розподілений пошук найближчих сусідів, що справді масштабується

Точний пошук найближчого сусіда — вузьке місце. Автори розподіляють блоки ваг між робочими процесами. Кожен процес квантує свої локальні блоки проти повної кодової книги і повертає лише дискретні індекси. Жодні плаваючі вектори не перетинають мережу. Обсяг зв'язку падає до кількох байт на параметр. Час стінного годинника для кроку VQ-QAT впадає в 12,8 разів. Це робить квантовано-свідоме тренування на десять мільярдів токенів реалістичним. Схема точна. Наближені методи, як продуктова квантизація чи IVF, не використовуються. Стаття не повідомляє абсолютний час тренування в годинах. Також не вказано топологію кластера чи пропускну здатність з'єднання.

Що змінюється на реальних моделях

Експерименти охоплюють інструкційно натреновані LLaMA-3.2-1B та LLaMA-3.2-3B. Також Qwen3-4B та базову Qwen3-1.7B. Усі запуски використовують ідентичні квантизатори та ініціалізацію. SQuAT перевершує стандартний VQ-QAT STE на кожній конфігурації. Відрив зростає при нижчих бітових широтах. Метод досягає найкращої точності для VQ-QAT на цих архітектурах. Стаття не порівнює з не-VQ квантизацією, як GPTQ чи AWQ. Не оцінює перплексію на відкладених бенчмарках за межами тренувального розподілу. Не вимірює затримку інференсу чи пропускну здатність пам'яті на залізі. Код та чекпоінти ще не посилані з запису arXiv.