Що змінюється, коли 4-бітова модель зберігає 97 відсотків точності повної точності?

Liquid AI випустила нові 4-бітові чекпоінти для чотирьох моделей LFM2.5. Їх навчали методом, що називається квантування-усвідомлене дистиляція, і вони відновлюють більшу частину точності, яку зазвичай втрачають при стисненні моделі до чотирьох бітів.

Як створені чекпоінти

Модель-вчитель з високою точністю дистулюється в квантовану модель-учня. Учень починає квантованим і безпосередньо вчиться від вчителя під час навчання. Це відрізняється від пост-тренувального квантування, де модель повної точності стискають після факту.

Результат зберігає низький обсяг пам'яті і високу пропускну здатність нативних Q4_0 GGUF. Відновлення досягає 97 відсотків середньої точності BF16, втраченої через квантування. Якість повернулася.

Що показують бенчмарки

Тестували чотири моделі: LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct та LFM2.5-2.6B. Набір бенчмарків охоплює рассудження та виконання інструкцій. Також перевіряли використання інструментів і агентні здібності.

Основа — GPQA Diamond, MMLU-Pro, IFEval, IFBench, Multi-IF і BFCLv4. GSM8K слугує двом меншим моделям. AIME25 — двом більшим. BF16 GGUF слугує як потолок у цьому форматі. Результати — середнє по п'яти запусках.

Утримання склало 97,1 відсотка, 96,5 відсотка, 97,4 відсотка і 96,6 відсотка від відповідних базових ліній BF16. По всіх чотирьох моделях QAD суттєво покращив чекпоінт Q4_0.

Швидкість на пристроях

Пропускну здатність декодування вимірювали на чотирьох цілях. MacBook Pro і NucBox EVO-X2 використовують GPU-інференс. Samsung Galaxy S26 Ultra і Raspberry Pi 5 — інференс на Arm CPU. BF16 і F16 показані як референси повної точності, де профілювали.

Чекпоінти QAD Q4_0 для 230M і 350M досягають якості Q5_K_M в межах дисперсії оцінки при на 4–33 відсотки вищій пропускній здатності. Для 1.2B і 2.6B — якості Q4_K_M при на 3–14 відсотках вищій пропускній здатності. Ці чекпоінти також відповідають Unsloth UD-Q4_K_XL там, де це застосовно для 230M і 1.2B.

Де взяти

QAD GGUF доступні на Hugging Face вже сьогодні. Використовуйте файли з llama.cpp або будь-яким рантаймом, що підтримує артефакти GGUF Q4_0.

Приклад команди завантажує модель 350M і запитує її про C. elegans.

Чого оголошення не охоплює

Деталі обчислювальної потужності навчання і даних не розкрито. Порівняння з рівнями квантування Q3 або Q2 відсутнє. Вплив на батарею телефону і теплова поведінка на Pi не звітують.

Продуктивність на довгих контекстах для цих розмірів не згадана. Умови ліцензії для комерційного розгортання в пості не зазначені.