Як SQuaT усуває межу точності у марковано безданих квантованій дистиляції?

Квантування з урахуванням навчання дозволяє зменшити нейромережу до низької бітової точності, зберігаючи більшу частину якості. Процес вимагає наявності оригінального розміченого набору даних.

Доступ до набору закритий. Приватність та авторські права ставлять перешкоди. Витрати також стають бар'єром. Дистиляція знань стала стандартним обхідним шляхом — велика вчительська модель веде малого студента, використовуючи лише неозначені дані. Попередні роботи, що поєднують квантування з урахуванням навчання та дистиляцію знань, натрапили на жорстке обмеження.

Під час дистиляції вчитель створює активації повної точності. Студент працює з квантованими вагами та активаціями. Їх числові діапазони не співпадають. Ця розбіжність породжує недосяжний залиш. Функція втрат дистиляції не впадає нижче незменненої нижньої межі. Жодне налаштування це не виправляє. Автори називають це фундаментальною вадою попередніх підходів.

SQuaT розшифровується як Student-Aware Quantized Teacher Features.

Фреймворк застосовує параметри квантування студента до ознак вчителя під час дистиляції. Фактично вчителя змушують говорити числовою мовою студента. Квантуючи проміжні представлення вчителя зі шкалою та нульовою точкою студента, розбіжність діапазонів зникає. Ціль дистиляції стає досяжною. Теоретична нижня межа втрат усувається.

Підхід не потребує міток. Розмітка даних не потрібна. Це працює як готова зміна для існуючих конвеєрів квантування з урахуванням навчання.

Експерименти охоплюють різні сценарії. Стаття повідомляє про стабільне покращення порівняно з сильними базовими лініями. Приріст найбільш помітний у екстремальних низькобітових режимах — саме при 1-бітових та 2-бітових конфігураціях. При вищих бітових широтах розрив звужується, але залишається вимірюваним.

Метод не покладається на конкретні архітектурні припущення. Оцінка охоплює кілька сімейств моделей та рецептів квантування. Широке застосування задекларовано та продемонстровано. Вихідний код опубліковано разом зі статтею. Роботу прийнято на AISTATS 2026.

Стаття не повідомляє про час навчання в реальному часі чи накладні витрати пам'яті. Порівняння з повною точністю дистиляції при наявності міток відсутнє. Практичний вплив на затримку виведення для конкретного апаратного забезпечення не вимірювали. Ці питання залишаються для подальшої роботи.