Як UniCompress стискає візуально-мовну модель для роботи на периферії?

Проблема адаптерів, що пожирає пам'ять

Тілесні роботи та периферійні пристрої потребують візуально-мовних моделей, здатних виконувати багато різних навичок. Звичайний підхід зберігає високоточний фундамент і завантажує окремий низькоранговий адаптер для кожного завдання. Кожен адаптер додає параметри, кожен потребує власного слоту зберігання, і кожен треба підміняти при зміні завдання. Накладні витради на управління ростуть разом із кількістю навичок. Це створює значні труднощі для розгортання на обмежених пристроях.

Інший шлях

UniCompress усуває ці накладні витрати. Платформа починає з консолідованої BF16-вчителя Qwen3-VL-4B, який вже володіє всіма цільовими завданнями. Потім будується одна асиметрична INT2-учня, що несе ту саму багатозадачну поведінку без жодного адаптера. Результат — єдиний файл, який можна скопіювати на пристрій і запустити.

Квантування з керівництвом вчителя до двох бітів

Учень використовує GPTQ-ініціалізацію для грубого низькобітного варіанту. Далі крок відновлення з керівництвом вчителя коригує квантовані ваги, щоб учень імітував виходи вчителя. Важливо: відновлення працює спільно над вагами проекції візуального енкодера та вагами мовного фундаменту. Більшість конвеєрів квантування обробляють ці частини окремо або заморожують візуальну сторону. UniCompress — ні. Стаття називає учня «асиметричним», бо різні шари отримують різну ефективну точність після відновлення. Метод не вимагає перенавчання на оригінальних даних завдань. Потрібні лише модель вчителя і невеликий калібрувальний набір. Це робить конвеєр стиснення практичним для команд, що не можуть запускати повне навчання знову.

Цифри, що поміщаються в телефоні

Консолідований BF16-вчитель займає приблизно 8,9 гігабайта сховища ваг. INT2-учня — приблизно 2,1 гігабайта. Це скорочення близько 76 відсотків. На чотирьох гетерогенних тілесних завданнях учень показує приріст 34,3 відсоткові пункти порівняно з базовим GPTQ-INT2. Відстань до BF16-вчителя становить 0,9 пункта. Оцінювали розпізнавання поз та розуміння побутової безпеки. Також перевіряли маршрутизацію багатомодальних діалогів і прогнозування дій мобільного GUI. Проміжок до вчителя досить малий, щоб стиснута модель могла замінити стек адаптерів у багатьох сценаріях розгортання. Стаття не повідомляє про затримку чи енергоспоживання на конкретному залізі. Також не каже, скільки калібрувальних зразків використовувалося, чи зберігається 0,9-пункловий проміжок на завданнях поза чотирма оціненими.

Де закінчується пояснення

Цей підхід показує: спільне відновлення квантування візії та мови працює на двох бітах. Немає порівняння з методами, що залишають адаптери, але квантують фундамент до чотирьох біт. Не тестували більші фундаменти — Qwen3-VL-7B чи 72B. Склад калібрувальних даних не описаний у анотації. Для команди, що вирішує, чи приймати цей конвеєр, ці пропущені деталі мають таку ж вагу, як повідомлені цифри.