Як один прохід виправляє квантовані Vision Transformers при зміні даних

Чому квантовані ViT ламаються при зміщенні

Посттренувальне квантування зменшує візуальний трансформер, щоб він помістився на периферійному залізі. Процес заморожує квантизатори — таблиці відповідності, що перетворюють плаваючі активації на низькобітні коди — використовуючи статистику, зібрану на оригінальному тренувальному наборі.

Коли модель пізніше бачить зображення з іншого домену, активації більше не заповнюють ці заморожені діапазони так само. Розподіл кодів зміщується. Точність падає.

Існуючі методи адаптації під час тестування не створені для такого обмеження. Більшість відновлює точність через зворотне поширення по градієнтах. Це вимагає градієнтів, пам'яті для обчислювального графа та часу. Безградієнтні альтернативи додають зайві прямих проходи або оновлюють внутрішню статистику моделі. Легкі трюки на рівні ознак чи логітів повертають лише частину втрат. Жоден з них не виправляє невідповідність безпосередньо на вхіді квантизатора.

Що робить QuAR на межі квантизатора

Quantizer-Aligned Recalibration (QuAR) діє на активаціях безпосередньо перед замороженим квантизатором. Метод відстежує поточні середнє та дисперсію для кожного каналу вхідного тестового потоку. Потім він зсуває та масштабує ці активації так, щоб їхня статистика збігалася з калібраційною, яку очікує квантизатор.

Жодного градієнта назад. Жодної зміни параметрів моделі. Жодного другого проходу. Стаття описує єдину фіксовану конфігурацію, що залишається незмінною для всіх тестових умов.

Результати на ImageNet-C з ViT-B

При 8-бітній точності ваг і активацій QuAR досягає найвищої середньої точності серед найкращих безградієнтних методів TTA. Перевершує найсильніший базовий варіант на 2,28 пункта. При 3-бітній точності розрив розширюється до 4,00 пунктів. Лідерство зберігається також при 4 і 6 бітах.

Латентність падає на 46 відсотків порівняно з найкращим базовим методом. Надлишкова пам'ять — 0,17 МБ, тобто 0,01 відсотка пікового обсягу під час інференсу.

Чому важливий розподіл кодів

Автори пов'язують приріст зі зменшенням невідповідності по каналах на квантизаторах. Коли вхідну статистику перекалібрують, квантизатор видає коди, що відповідають розподілу з етапу калібрування. Базові методи або залишають цей розподіл незмінним, або ще більше його спотворюють.

Єдина фіксована конфігурація перемагає на безперервних потоках, при не-i.i.d. зміщенні міток, у семи out-of-distribution наборах і на трьох інших архітектурах. Стаття займає 44 сторінки з шістьма фігурами. Код доступний у репозиторії, посилання на який дано на сторінці arXiv.