Чи може 4-бітова модель перевершити власну 16-бітову версію?

Стиснута мовна модель працює з меншою бітовою глибиною. Зазвичай це погіршує відповіді. Multiverse Computing стверджує, що їхній новий метод «оздоровлення» перевертає цю залежність.

Стандартний конвеєр зменшення великої моделі має три етапи. По-перше, скорочують архітектуру — видаляють шари та голови. По-друге, квантують залишкові ваги до 4 біт. По-третє, лікують завдані пошкодження. Останній крок і є місцем основних суперечок.

Чому звичайне «оздоровлення» вдаряється в потолок

Метод QAT вставляє оператори фальшивого квантування у прямий прохід і продовжує донавчання на цільових втратах. Це працює, але перезапускає всю історію пост-навчання — контрольоване донавчання, RLHF, агентне налаштування — через зашумлений прямий прохід. Процес дорогий і, як показують автори, нестабільний, якщо навчання триває за межами оптимальної зони.

Інший підхід — дистиляція з урахуванням квантування (QAD) — уникає цієї історії. Він заморожує повноцінного вчителя і дистилює в квантованого студента через KL-розбіжність на логітах. Це спрацьовує, коли єдина зміна — точність. Але якщо модель стиснута структурно, незалежно навченої повноцінної версії меншої архітектури не існує. Єдиний кандидат у вчителі — відновлений чекпоінт bfloat16, який сам є наближеною дистиляцією. Дистиляція від нього прив'язує студента до деградованої цілі.

Як квантування з урахуванням «оздоровлення» змінює вчителя

QAH прибирає цей потолок однією зміною: дистилює безпосередньо від оригінальної, до стиснення моделі. Вчитель — повний за розміром і точністю. Студент — вдвічі менший і працює в MXFP4. Архітектури у них не співпадають. Оскільки вихідний розподіл вчителя не залежить від архітектури, розмір не блокує передачу знань. Студент ніколи не бачить жорстких міток, лише логіти вчителя, узгоджені через KL-розбіжність.

Це переосмислює роль квантування. При QAH воно перестає бути втратним пост-обробленням після завершення «оздоровлення». Воно стає другим повним проходом дистиляції проти оригінального вчителя — нагляду, якого чекпоінт bfloat16 ніколи не отримував. 4-бітовий студент не компенсує втрати від квантування. Він засвоює інформацію, яку раніший етап відновлення не встиг або не мав даних для передачі.

Стабільність випливає з самої функції втрат. KL-дистиляція прив'язує студента до фіксованого розподілу вчителя. Коли студент доганяє, тиску на дрейф більше немає. Перехресна ентропія задачі безмежно штовхає до жорстких міток. Ця різниця проявляється і в точності, і в стабільності навчання.

Таблиця бенчмарків

Автори застосували QAH до моделі GPT-OSS 120B, стиснутої до 60B параметрів, відновленої в bfloat16, а потім повторно квантованої до MXFP4. Природне порівняння — з тим самим чекпоінтом 60B у bfloat16.

Benchmark	120B teacher (MXFP4)	60B BF16 (recovered)	60B MXFP4 (QAH)	QAH vs BF16
AA-LCR (довгоконтекстове рассудження)	50.0	35.3	42.7	+7.4
AIME 2025 (математика)	80.0	70.7	76.3	+5.6
Aider (агентне кодування)	45.3	38.2	40.9	+2.7
τ²-bench (використання інструментів)	68.4	59.4	61.7	+2.3
GPQA Diamond (наука)	69.0	65.7	67.4	+1.7
IFBench (дотримання інструкцій)	63.3	58.4	59.9	+1.5
LiveCodeBench (кодування)	66.0	65.5	66.5	+1.0
MMLU-Pro (знання)	78.0	74.0	73.8	−0.2
SciCode (наукове кодування)	37.5	35.6	34.2	−1.4

Модель QAH виграє на 7 з 9 бенчмарків. Два програші — менші за 1,5 бала. Найбільші прирости — там, де стиснення зазвичай боліть найбільше: довгоконтекстове рассудження і математика.

Порівняно з оригінальним вчителем 120B, QAH-модель перевершує його на LiveCodeBench (66,5 проти 66,0) і відстає лише на 1,6 бала на GPQA Diamond. Найбільша залишкова прогалина — на AA-LCR, де втрата потужності від стиснення найважче відновити.

Швидкість і стабільність у порівнянні

Щоб ізолювати функцію втрат, команда порівняла QAH із QAT на моделі GPT-OSS 9B, квантованій до MXFP4, відстежуючи середню продуктивність на MMLU-Pro, LiveCodeBench та GPQA Diamond.

Обидва методи досягають схожого піку — 54,9 для QAH, 54,6 для QAT. Різниця у шляху. QAH досягає піку за приблизно 100 кроків. QAT потребує близько 700. Після піку QAH залишається в межах двох балів від найкращого. QAT розпадається, втрачаючи майже 19 балів до 1200 кроку.

Чекпоінт QAT вимагає обережної ранньої зупинки за перевірочним сигналом, щоб не віддати модель, що вже деградує. Достатньо навчений чекпоінт QAH можна подавати безпечно — він просто не дрейфує.

Що це змінює для розгортання

При 4-бітовій точності QAH-модель споживає приблизно в чотири рази менше пам'яті на ваги, ніж студент у bfloat16. При половині параметрів від вчителя 120B вона здебільшого зменшує обчислення на токен удвічі, що дозволяє запускати на значно меншому залізі. Для сімейств моделей, що поставляються в bfloat16, а не 4-біт, сукупне зменшення параметрів і точності дасть близько восьми разів менше обчислень на токен.

Квантування перестає бути податком за ефективність і стає додатковою можливістю навчити модель. Конвеєр «оздоровлення» досягає цієї точки за дрібку часу, потрібного рецепту QAT.

Робота супроводжує супутню статтю про ефективну дистиляцію, яка надає механіку довгоконтекстового навчання, необхідну QAH — саме фрагментовану KL-втрату, що обчислює KL по одному зрізу послідовності за раз і ніколи не матеріалізує повну сітку словник-за-послідовністю, роблячи «оздоровлення» на 32k токенів можливим у фіксованому бюджеті GPU-пам'яті. Наскільки рецепт узагальнюється на інші архітектури і коефіцієнти стиснення — у оголошенні не розкрито.