Чому стиснення візионно-мовних моделей маскує помилки ґрунтування, які пропускають показники точності?

Що вимірює GHOST-Q

Післянавчальна квантизація візионно-мовних моделей зазвичай оцінюють через сукупну точність завдань та економію пам'яті. Збереження головного показника не гарантує збереження поведінки візуального ґрунтування.

GHOST-Q — це перехресна оцінка трьох сімейств VLM розміром 8B. Тестують у форматах FP16 та INT8. Також перевіряють NF4. Використовують бенчмарки для корисності та чутливості до галюцинацій. Замість порівняння лише сукупної точності автори парно зіставляють передбачення FP16 та квантованих версій для кожного елемента. Це дозволяє визначити, як стиснення перерозподіляє успіхи та помилки ґрунтування.

Метод зосереджений на перерозподілі. Кожен тестовий елемент отримує два передбачення. Різниці підраховують за кожною умовою. Таке парне порівняння виявляє зміни, які стирають середні показники.

Точність стабільна, а ґрунтування ламається

П'ять із шести квантованих варіантів зберігають точність MMStar у межах ±2 відсоткових пунктів. Це звучить заспокійливо. Проте 10 із 36 парних ефектів залишаються значущими після корекції на хибні відкриття. Дев'ять із цих значущих ефектів з'являються в умовах, чутливих до галюцинацій.

Розбіжність означає: модель може пройти стандартний лідерборд, а одночасно тихо змінювати те, що стверджує, що бачить. Стаття не каже, чи перейшов якийсь варіант поріг ±2. Вона не описує природу помилок ґрунтування за межами їх статистичної значущості.

Корекція на хибні відкриття має значення. Без неї більше парних ефектів з'явилися б значущими. Автори обрали консервативний поріг. Вони не повідомляють нескоріговані кількості. Не розбивають, які архітектури дають дев'ять ефектів, чутливих до галюцинацій. Ступінь серйозності змінюється залежно від архітектури та точності, але текст не квантифікує цю варіативність.

Пам'ять падає, а латентність — не завжди

Профілювання на тому самому A100 показує: суттєве скорочення пам'яті не обов'язково означає нижчу латентність висновку. Фразу «суттєве скорочення пам'яті» використовують без числа. Стаття не наводить фігури латентності для жодної точності. Не каже, чи іноді латентність зростає. Не вказує розміри батчів чи довжини послідовностей у профілюванні.

Цей результат попереджає: не варто припускати прямий компроміс між обсягом та швидкістю. Заміри проведено на одному типі GPU. Результати на іншому «залізі» не згадуються. Автори не обговорюють споживання енергії чи пропускну здатність. Не порівнюють із квантизацією, свідомою навчання.

Поведінка генерації змінюється так, що бенчмарки ігнорують

Відкритий аудит AMBER виявляє сильний цензурування бюджету генерації. Ступінь варіюється за архітектурою та точністю. Аудит описують як відкритий. Термін «генераційне бюджетне цензурування» не визначено в анотації. Стаття не повідомляє, що саме вимірює AMBER за цією фразою. Не каже, які архітектури страждають найбільше. Не дає числового діапазону серйозності.

Автори роблять висновок: квантовані VLM слід оцінювати спільно. Потрібні сукупна корисність та надійність ґрунтування. Також важливі поведінка генерації та реальна ефективність розгортання. У списку чотири критерії. Анотація не пропонує єдину метрику. Не каже, чи існує бенчмарк, що охоплює всі чотири. Не згадує плани викласти код чи дані GHOST-Q. Роботу подано на IEEE ICASSP 2027. Обсяг — п'ять сторінок.