Чи зможуть дешевші бенчмарки ІІ показати упередженість моделі?

Нова стаття на arXiv перевіряє, чи зміна швидкості відповідальних бенчмарків ІІ впливає на їхні висновки. Відповідь — іноді так, і зміни трапляються там, де їх не чекаєш.

Бенчмарк — це вимірювальний прилад

Бенчмарк виглядає як тест. На практиці це інструмент вимірювання. Коли змінюєш протокол — розмір батчу, точність, кількість запитань — ти не просто економиш обчислення. Ти змінюєш лінійку. Стаття, подана 31 серпня 2026 року, розглядає цю заміну як втручання і запитує, чи залишаються показники тими самими. Оцінювали три моделі. Дві — густі. Одна — суміш експертів. Бенчмарки — BBQ і BBQ-V, створені для виявлення соціальної упередженості. Базова лінія — повний запуск у BF16. Порівнювали з нею сім умов.

Сім умов: що саме змінювали

Більші батчі. Квантизація INT8. Квантизація INT4. Скорочені підмножини бенчмарків. Їхні комбінації. Кожну умову вимірювали за точністю, ступенем упередженості, поширеністю упередженості, якістю рассудження, поведінкою підгруп, стабільністю належності до підмножин, часом виконання — і споживанням енергії GPU. Автори не зупинилися на сукупній точності. Перевіряли, чи ті самі приклади змінюють мітки. Чи ті самі підгрупи виглядають гірше. Чи зберігаються однакові патерни рассудження.

Батчинг тримає точність у межах 0,35 відсоткового пункту від базової лінії. Зміни в підгрупах — невеликі. Енергія падає в п'яти з шести пар модель–датасет. Здається безкоштовним обідом. Але не для кожної моделі. Система суміші експертів веде себе інакше на BBQ-V. Стаття не пояснює причину. Фіксує розбіжність і йде далі.

Квантизація не зберігає те, що ти думаєш

INT8 переважно зберігає якість. Фраза «переважно зберігає» приховує діапазон. Виміряне споживання енергії GPU зростає до 1,79–4,26× від базової лінії. Залізо працює довше або гарячіше. Стаття не пояснює механізм. Наводить цифри.

INT4 спричиняє більші, залежні від моделі та контексту зміни. Зсувається ступінь упередженості. Зсуваються рейтинги підгруп. Падає стабільність належності до підмножин. Той самий приклад може перейти з «упереджений» у «неупереджений» залежно від того, чи запускаєш модель у BF16 чи INT4. Це не помилка округлення. Це інше вимірювання.

Менші бенчмарки — найбільша економія і найбільша дисперсія

Скорочені бенчмарки дають найстабільнішу економію. Дуже малі підмножини значно чутливіші до того, які приклади залишилися. Викинь інші 10 відсотків запитань — і число поширеності упередженості зміниться. Стаття не задає поріг, де повертається стабільність. Показує криву і зазначає чутливість.

Час виконання падає. Енергія падає. Висновок про профіль упередженості моделі не виживає після скорочення. Автори стверджують: ефективну оцінку слід трактувати як втручання у вимірювання, чию валідність треба перевіряти щодо всіх висновків, для яких призначений бенчмарк. Не кажуть, хто саме має перевіряти. Не кажуть, як часто.

Що це змінює для тих, хто запускає евалюації

Якщо ти проганяєш BBQ або BBQ-V за розкладом — щотижнево, щоденно, на кожний реліз — ти використовуєш батчинг або квантизацію. Або підмножину, щоб тримати витрати низькими. Стаття каже: числа, які ти логуєш, не порівняні безпосередньо з повним запуском у BF16. Різниця — не шум. Вона системна. Вона залежить від архітектури моделі. Вона залежить від версії бенчмарку. Посилання на сайт проєкту та код є у статті. Автори не дають готовий корегувальний коефіцієнт. Дають сирі порівняння. Ти вирішуєш, чи потрібен твій пайплайн перебазування. Стаття не відповідає за тебе.