Як GradCodes доналаштовує квантовані моделі, не виходячи з низькорозрядкового простору?

Чому безперервні проксі віддаляються від розгорнутої моделі

Доналаштування квантованої моделі означає оптимізацію копії з повною точністю, а потім округлення результату назад до низькорозрядкових кодів. Стаття визначає два режими відмови. Помилка прямого проходження оцінки накопичується, бо градієнт тече через безперервну релаксацію, яка не відповідає дискретній функції квантування. Проміжок після квантування виникає, коли округлені ваги більше не знаходяться в оптимумі, знайденому в безперервному просторі. Обидва ефекти зростають зі зменшенням розрядності.

Дискретний пошук уникає цих проміжків, оперуючи самими кодами. Ціна — комбінаторний вибух. При обмеженому бюджеті тренування пошук не здатен дослідити достатньо кандидатів для збіжності. Автори формулюють проблему як оптимізацію над кодами квантування та масштабами, а не над плаваючою комою.

Сурогатний градієнт у просторі кодів як сигнал першого порядку

GradCodes вводить сурогатний градієнт, визначений безпосередньо в просторі квантованих кодів. Градієнт вказує на кращі коди, ніколи не виходячи з дискретного домену. Він обчислюється диференціюванням гладкої сурогатної функції втрат, що обмежує справжню дискретну метрику зверху. Це дає сигнал першого порядку, який поважає обмеження розгортання з першого кроку.

Сурогат побудований так, що його мінімум співпадає з оптимальним розподілом кодів. Безперервні проксі-ваги не зберігаються. Пам'ять залишається на низькорозрядковому рівні протягом усього тренування. Стаття повідомляє 408 КБ для повного тексту з рисунками та додатковим матеріалом.

Наведений пошук зберігає контрольну точку вірною

Чистий градієнтний крок у просторі кодів може пропонувати недопустимі переходи. GradCodes додає шар наведеного пошуку, який приймає або відхиляє кожну пропозицію зміни коду за справжніми дискретними втратами. Пошук використовує сурогатний градієнт як пропозиційний розподіл. Це зберігає вірність розгортанню і прискорює збіжність порівняно з ненаведеним дискретним пошуком.

Комбінація означає: кожна проміжна контрольна точка — валідна низькорозрядкова модель. Остаточного кроку округлення, що могло б погіршити точність, немає. Метод працює з різними типами квантування без змін.

Результати для арифметичного рассудження та мовних завдань

Експерименти охоплюють арифметичне рассудження. Перевірено також виконання інструкцій. Окрім того, оцінювали структурне розуміння мови. GradCodes стабільно покращує доналаштування низькорозрядкових моделей для різних типів квантування. Стаття не повідомляє, скільки моделей тестували чи які саме розрядності використовували. Порівняння часу тренування з базами повної точності теж відсутнє.

Код доступний за посиланням у статті. Дата подання — 31 серпня 2026 р. Автори: Шигуан Ву, Чжоучен Лінь. Також до роботи приєднався Цюанмін Яо. DOI — 10.48550/arXiv.2608.30908.