Що змінюється, коли квантовані моделі отримують оцінку складності за поведінкою?
Дослідницьку статтю на arXiv доповнено сертифікатами поведінкової ємності — способом вимірювати складність квантованих мовних моделей за тим, що вони реально обчислюють, а не за кодами, що зберігаються у вагах. Метод вважає два розгортання еквівалентними, якщо вони дають однакову обмежену втрату, навіть якщо коди ваг відрізняються.
Обмеженість кодів ваг
Квантування змінює точність активацій і кешів ключ-значення. Ці зміни впливають на те, що обчислює модель, не чіпаючи збережені ваги. Традиційні межі складності дивляться лише на коди ваг. Вони дають однакову оцінку розгортанням, що поводяться по-різному. Окремо платять за коди ваг, що ведуть себе ідентично. Розбіжність стає важливою, коли інженери обирають бітність для кожного шару або вирішують, як розподілити точність між ключами та значеннями.
Сертифікат рахує реалізації інакше
Сертифікати поведінкової ємності оцінюють поведінку через сумарну попередню масу повних реалізацій — ваг, масштабів, правил активації та кешу. Усі реалізації, що дають однакову обмежену втрату, ділять один сертифікат. Коли квантування об'єднує різні реалізації, спільна маса знижує штраф за складність. Закон беззбитковості потім вирішує, чи виживе економія після витрат на перевірку.
Три етапи від відбору до межі
Автори описують робочий процес розгортання з трьох кроків. По-перше, екранний відбір лише у прямому проході скорочує список бітностей на шар за частотою збереження еталонних передбачень кандидатами. Якість дорівнює вибору за гесіаном при менших витратах на попередню обробку. По-друге, клітини з сертифікованим запасом виявляють ваги, які можна обрізати або інвертувати знак без зміни поведінки розгортання. Кожна дозволена комбінація зберігає всі оголошені передбачення. Це працює. На OLMoE-1B-7B та SmolLM2-1.7B незалежні зонди обмежують ймовірність зміни передбачення на новому тексті будь-якою дозволеною комбінацією. По-третє, BCC обмежує популяційну втрату розгорнутої моделі. Межа не порожня для повних декодерів і суворіша за шлях стисненого коду.
Пріоритет ключам за фіксованої пам'яті кешу
При однаковому обсязі пам'яті кешу вищий точність ключів, ніж значень, дає менший негативний лог-правдоподібність і вищу згоду передбачень. Результат тримається на GPT-2, Qwen2.5 та SmolLM2. Аудит GPT-2 також показує суворішу межу складності.
Поведінка має значення.
Джерела, за якими написано статтю
- "arXiv:2609.37887v1
https://arxiv.org/abs/2609.37887v1"