Чи здатна модель зображення та мови працювати швидше на телефоні без перенавчання?

Чому агресивне скорочення ламає модель

Великі візуально-мовні моделі перетворюють зображення на послідовність токенів — їх сотні — перш ніж мовна частина починає розмірковувати. Передача всіх токенів у LLM сповільнює роботу, особливо на телефоні чи вбудованій платі. Дослідники пробували відкидати токени рано, але модель швидко втрачала здатність до розуміння. Стаття виокремлює три окремі причини.

По-перше, більшість селекторів дивляться на текстовий промпт, щоб вирішити, які токени зображення важливі. Це створює зміщення: токени, що виглядають нерелевантними для поточного запитання, викидаються, хоча вони можуть знадобитися для наступного запитання чи іншого шляху рассудження. По-друге, кожен видалений токен несе візуальну інформацію, яка зникає назавжди. По-третє, коли видаляють токени з середини послідовності, решта зсуваються. LLM очікує фіксовану просторову структуру; зсув плутає позиційне кодування, вивчене під час попереднього навчання.

Ці три ефекти накручуються. Метод, що вирішує лише одну проблему, все одно провалюється при сисному стисненні.

Три виправлення, що працюють до LLM

VPRune додає легкий модуль між візуальним енкодером та LLM. У нього три етапи, кожен націлений на свій режим помилок.

Візуальний відбір за різноманітністю обирає представницьку підмножину токенів, використовуючи лише вкладення зображення. Текстовий промпт не бере участі, тому відбір не може перепідлаштуватися під поточне запитання. Алгоритм вимірює попарні відстані в просторі вкладень і залишає токени, що широко покривають візуальний простір.

Рятування інформації за схожістю повертає дані з відкинутого набору. Для кожного видалений токен метод знаходить найближчого сусіда серед збережених і додає до нього залишковий вектор — різницю. Кількість збережених токенів не змінюється, але агрегований вектор несе більше оригінального зображення.

Запис із збереженням позицій повертає відібрані та відновлені токени у послідовність початкової довжини. Порожні слоти заповнюються навченим заповнювачем, що не несе візуального сигналу, але зберігає позиційні індекси, яких очікує LLM. Модель отримує повну послідовність з тим самим відображенням позицій, що й під час попереднього навчання.

Усі три етапи детерміновані, не потребують градієнтних оновлень і додають незначні обчислення.

Що показують бенчмарки

Автори тестують на FastVLM-1.5B, компактній LVLM для розгортання на периферії. Оцінюють на кількох візуально-мовних бенчмарках — стаття не перелічує їх за назвами — і повідомляють про вигідний компроміс точність-стиснення. Перевага зростає зі зростанням коефіцієнта стиснення. При агресивному скороченні токенів VPRune деградує менше, ніж базові методи з текстовим відбором чи простим top-k пулінгом.

Виміри латентності виконані на периферійному пристрої — точне залізо в абстракті не вказано. Енд-ту-енд час інференсу падає, а якість задачі залишається вищою за порівняні методи. Стаття трактує це як доказ практичності для ресурсно обмеженого розгортання LVLM.

Жодного тренувального запуску, розкладу донавчання чи перебору гіперпараметрів в абстракті не описано. Метод представлений як plug-and-play для існуючих моделей.

Де закінчується пояснення

Абстракт не каже, скільки токенів FastVLM-1.5B генерує, які коефіцієнти стиснення тестували чи які саме бенчмарки використовували. Не названий периферійний пристрій, немає абсолютних чисел латентності, немає порівняння з методами, що вимагають навчання. Чи працює VPRune на більших моделях на кшталт LLaVA-7B чи на відео — не розглянуто. Код та ваги моделей в абстракті не посилано.