Чому 4-бітова квантизація ламає фінансові прогнози, якщо не змінити калібрування?

Нова стаття на arXiv перевіряє посттренувальну квантизацію на моделях волатильності S&P 500. Показано: калібрування активацій майже не важливе при 8 бітах, але вирішає все при 4.

Проблема калібрування, яку ніхто не вимірював

Фінансові моделі прогнозування тренуються у повній точності. Продакшн вимагає інференсу низької точності — для економії пам'яті та обчислень. Посттренувальна квантизація (PTQ) дає це без перетренування. Надійна квантизація активацій потребує калібрування. Діапазони активацій оцінюються з історичних даних перед розгортанням і потім залишаються фіксованими під час майбутнього інференсу. Важливість цього вибору для фінансового прогнозування довго залишалася невивченою.

Юньї Є та Айві Гатері Ванджіку подали дослідження 12 серпня 2026 року. Вони представили системну оцінку калібрування активацій для PTQ у перерізній прогнозуванні волатильності S&P 500. Оцінка охоплює сім репрезентативних архітектур нейромереж. Вона покриває вісім років walk-forward тестування від 2018 по 2025. Участь беруть 560 натренованих моделей.

Що відбувається при 4 бітах

Калібрування активацій майже не впливає при 8 бітах. При 4 бітах воно стає головним детермінантом прогностичної продуктивності. За дефолтного абсолютно-максимального (abs-max) калібрування статична 4-бітова квантизація ваг і активацій знімає 11–62 % середнього інформаційного коефіцієнта повної точності в пошкоджених архітектурах. Деградація не є однорідною. Деякі архітектури втрачають більше половини сигналу. Інші зберігають більшу його частину.

Чи інші архітектури імунні, чи просто менш пошкоджені — у статті не звітується. Наведено лише діапазон по пошкоджених.

Перцентильне калібрування змінює результат

Заміна abs-max на перцентильне калібрування повертає 53–94 % цієї деградації в чотирьох найбільш пошкоджених архітектурах. Відновлення суттєве. Повної точності воно не досягає. Залишковий розрив варіюється за архітектурою та ринковим періодом.

Перцентильне калібрування використовує квантиль спостережуваного розподілу активацій замість спостережуваного максимуму. Це звужує діапазон. Збільшує роздільну здатність для типових значень. Обрізає викиди. Компроміс залежить від того, як часто викиди насправді з'являються під час інференсу.

Ринкові режими зсувають оптимум

Бажаний діапазон активацій також змінюється між ринковими періодами. Вузькі діапазони покращують роздільну здатність при типових ринкових умовах. Вони втрачають частину переваги, коли дисперсія тестового періоду перевищує історію калібрування. Дані калібрування йдуть з минулого. Тестові дані — з майбутнього. Коли майбутнє дикіше за минуле, вузький діапазон обрізає занадто багато. Ширший діапазон зберігає сигнал за рахунок роздільної здатності.

Автори не кількісно оцінюють, як часто цей зсув режиму траплявся за вісім тестових років. Вони описують механізм та напрямок ефекту.

Коли зупинити квантизацію активацій

Коли суттєва деградація залишається, 8-бітова активація дає надійніший вибір розгортання. Квантизація лише ваг у 4 біти залишає активації у вищій точності. Вона уникає проблеми калібрування для активацій повністю. Стаття подає це як практичний запасний варіант. Поза цим твердженням змішані схеми точності не тестуються.

Перерізне прогнозування волатильності S&P 500 визначає контекст. Сім архітектур. Вісім walk-forward років. 560 моделей. Вияви специфічні для цього контексту. Автори не претендують на узагальнення до інших активів чи горизонтів. Також не розширюють висновки на інші родини моделей.