Чи може квантизація допомогти великим візіон-мовним моделям, а не лише зменшити їх?

Посттренінгова квантизація робить великі візіон-мовні моделі меншими та швидшими за рахунок зниження числової точності. Новий фреймворк Balanced Fitting показує: помилки, що виникають у цьому процесі, іноді покращують узагальнення моделей на нових задачах.

Чому копіювання повної точності створює проблеми

Посттренінгова квантизація забезпечує ефективне розгортання великих візіон-мовних моделей. Стандартний підхід калібрується на невеликому наборі даних, очікуючи, що стиснута модель узагальнить на різноманітних downstream-задачах. Недавні методи додають сигнали чутливості для керівництва процесом. Вони все одно мінімізують втрати реконструкції відносно моделі з повною точністю. Така стратегія потенційно надто сильно зберігає поведінку FP та зміщення калібрувального набору.

Квантизацію розглядають виключно як помилку, яку треба мінімізувати.

Надмірне збереження поведінки повної точності зафіксовує зміщення від мінімального калібрувального набору. Коли квантована модель стикається з задачами, далекими від цих даних, збережені артефакти шкодять більше, ніж втрата точності. Це пояснює, чому менші втрати реконструкції не гарантують кращої продуктивності на нових задачах.

Вимірювання: де квантизація допомагає, а де заважає

Автори помітили: квантизація також може давати корисну регуляризацію для окремих шарів та модальностей.

На цій спостереженні вони запропонували Balanced Fitting — фреймворк на основі ефектів квантизації, що балансує точність і регуляризацію за межами оптимізації реконструкції. Фреймворк вимірює ефекти квантизації для ваг та візуальних активацій. Текстові активації обробляються окремо. Він поєднує дрібну підгонку для чутливих компонентів з грубшою — для використання потенційних регуляризаційних переваг.

Це виходить за межі оптимізації на основі реконструкції.

Balanced Fitting на практиці

Метод оцінює кожен компонент окремо.

Чутливі частини отримують точну підгонку для збереження критичної поведінки. Інші частини — грубшу, що дозволяє виявитися регуляризаційним ефектам. Баланс змінюється залежно від типу шару та модальності. Візуальні активації можуть терпіти інше відношення, ніж текстові. Квантизація ваг має власний профіль чутливості. Фреймворк адаптується автоматично, а не діє однорідним тиском.

Що показують експерименти

Експерименти на декількох LVLM підтверджують: Balanced Fitting стабільно перевершує попередні PTQ-підходи. Це справедливе для квантизації лише ваг. Також працює для ваг разом з активаціями. Менші втрати реконструкції не гарантують кращу якість на нових задачах.

Вихідний код опубліковано.

Скільки саме моделей тестували і які архітектури використовували — у документі не вказано. Статтю надіслано 28 вересня 2026 року. Автори: Мінчан Кан, Кёнхє Пак, Сынйон Са, Соён Чо. Також Тхешік Кім і Ючхол Чо.

Доступ до коду та наступні кроки

Реалізацію викладено для спільноти.

Вчені можуть відтворити результати та розширити фреймворк. Чи масштабується підхід на моделі поза тестованими — відкрите питання.