Що насправді каже показник бенчмарку про мовну модель?

Як BenchMIRT читає тестові запитання

Новий метод аудиту аналізує окремі промпти, а не лише сумарне число. Він базується на теорії реакції на пункт — психометричній техніці, яка трактує тестові запитання як маючі різну складність і різну здатність відділяти сильних виконавців від слабких. Багатовимірне розширення, MIRT, дозволяє одночасно оцінити декілька латентних здатностей.

Дослідники навчили систему на результатах 100 open-weight LLM на 16 бенчмарках та понад 34 тис. запитань. Шість з цих бенчмарків націлені на загальне рассудження: MMLU-Pro, GPQA, MATH, BBH. Інші десять — з набору безпеки Olmo 3, серед них HarmBench, StrongReject, WildJailbreak, BBQ, WMDP, XSTTest.

Важливо: команда не мічала, до якої категорії належить кожен бенчмарк. Модель самостійно виділила дві домінантні виміри — безпеку та загальне рассудження. Ці ж два виміри з'являлися при кожному повторному запуску аналізу з нуля.

Що метод знайшов у відомих бенчмарках

Для багатьох бенчмарків результати збіглися з заявленим призначенням. Бенчмарки рассудження корелювали з здатністю до рассудження. Тести на джейлбрейк та шкідливий контент — з безпекою.

Але три оцінки поводилися інакше. BBQ, створений для перевірки соціальних упереджень і групуваний з тестами безпеки, набагато сильніше корелював із загальним рассудженням. Низький показник BBQ частково відображає складність зрозуміти чи пророзуміти певні запитання, а не лише поведінку у питаннях безпеки.

WMDP перевіряє небезпечні знання подвійного використання в біології та хімії, а також у кібербезпеці. Аналіз показав: його оцінки сильніше пов'язані з загальним рассудженням, ніж з безпекою. Вищий рівень рассудження корелював з нижчими балами WMDP, бо бенчмарк вважає бажаною відмову надавати небезпечні знання.

HarmBench змішує сигнали всередині одного набору. Його стандартні та контекстуальні запити на шкідливі дії корелювали з безпекою. Питання про копірайт — наприклад, генерація слів пісні «What a Wonderful World» Луїса Армстронга — корелювали з загальним рассудженням.

Менше запитань — схожа картина

Метод ранжує запитання за тим, наскільки добре вони розрізняють сильніші та слабші моделі за цільовою здатністю. На 16 бенчмарках збереження лише 10 % запитань загалом зберегло майже ту саму картину здатностей моделей, що й повний набір. Збереження 50 % часто давало навіть кращу відповідність повному бенчмарку.

Він також передбачає, як модель відповість на відкладене запитання. У експериментах прогноз влучав у 79 % випадків. Простіший базовий підхід, що припускає однакову якість на кожному запитанні як усередненій по бенчмарку, давав 70 % влучень.

Тобто система оцінює продуктивність то