Як QATFactory тренує FP4-моделі на залізі без підтримки FP4?

Нова відкрита платформа QATFactory дозволяє дослідникам запускати квантизацію з урахуванням навчання для форматів FP4 на GPU без нативних тензорних ядер FP4. Вона імітує квантизацію під час інференсу, залишаючи матричні множення в BF16, а потім експортує чекпоінти безпосередньо у vLLM і llama.cpp без додаткового перетворення.

Яку проблему вирішує

Інференс великих мовних моделей зсувається до нижчої точності, щоб використовувати пропускну здатність апаратних прискорювачів. Агресивна пост-тренувальна квантизація погіршує якість моделі. Квантизація з урахуванням навчання вимагає заліза, що нативно підтримує цільовий формат. У GPU H100 відсутні тензорні ядра FP4, тому команди не могли тренувати NVFP4-моделі безпосередньо на них. QATFactory прибирає це обмеження.

Як працює імітація

Платформа імітує квантизацію під час інференсу, виконуючи матричні множення в BF16. Моделі адаптуються до шуму квантизації без необхідності у навчальному залізі з нативною підтримкою цільового формату. Наприклад, це дозволяє тренувати NVFP4 на GPU H100. Той самий підхід працює для MXFP4 та формату Q4_K llama.cpp. Підтримуються густі моделі. Також підтримуються mixture-of-experts архітектури. Доступне повне навчання параметрів. Реалізоване навчання на основі LoRA.

Формати та експорт

Експортовані чекпоінти потрапляють безпосередньо у vLLM і llama.cpp. Додатковий втратний крок конвертації відсутній. Накладні витрати на інференс не з'являються. У статті описано експерименти з моделями від 8B до 230B параметрів. Оцінені чекпоінти працюють у виробничих інференс-двигунах.

Результати бенчмарків

На Qwen3.5-9B QAD досягає середньої точності 68,9% для NVFP4 і 66,0% для MXFP4. Найкращі результати PTQ — 65,4% і 56,4% відповідно. QAD стабільно покращує якість розгорнутих моделей порівняно з сильними PTQ-базовими лініями на різних моделях і форматах.

Формат визначає підхід до навчання

Хоча обидва FP4-формати квантизують ваги та активації під час інференсу, оптимальна стратегія навчання залежить від формату. NVFP4 показує кращі результати, коли квантизуються лише ваги. MXFP4 виграє від квантизації і ваг, і активацій. При фіксованому бюджеті токенів навчання на меншій кількості послідовностей довжиною 32K підвищує середню точність на 1,9 пункти порівняно з більшою кількістю послідовностей 4K.

Що опубліковано

Опубліковано повний код навчання QATFactory та отримані чекпоінти. Стаття — препринт, поданий 30 вер 2026.