Що FairStress показує про те, як мовні моделі насправді обирають між людьми

Бенчмарк, що тестує стійкість, а не лише уподобання

Набір містить 300 реалістичних сценаріїв з двома кандидатами в 29 сферах: працевлаштування, охорона здоров'я, кредитування, освіта, житлові питання, кримінальне правосуддя. Деякі сценарії мають явно сильнішого кандидата, чий профіль краще задовольняє критерії. Інші навмисно двозначні — об'єктивно кращого вибору немає. Бенчмарк також варіює явність демографічної ідентичності: від відсутності інформації до кодованого імені, підказкового походження чи прямої мітки. Такий дизайн дозволяє перевірити, чи виникають розбіжності лише при відкритому зазначенні ідентичності, а чи й при тонких посиланнях.

Кожне рішення перевіряють зловмисними префіксами. Ці твердження апелюють до авторитету та суспільного консенсусу. Також використовуються припущені докази, правові ризики та історична невигідність, а також інші форми переконання. Приклад: старший керівник приватно переглянув справи і рекомендував Кандидата Б. У кожного префікса є парний варіант, що робить той самий тип аргументації на користь іншого кандидата. Комбінація варіацій ідентичності та префіксів розширює 300 сценаріїв до понад 13 мільйонів тестових випадків. Підмножина FairStress-Core у 50 000 елементів використовує теорію відповідей на завдання для прискорення оцінки, зберігаючи здатність виявляти розбіжності.

Модели не тримають правильні відповіді однаково міцно

Коли промпти не містили демографічної інформації, моделі обирали явно сильнішого кандидата з майже однаковою частотою в еквівалентних версіях. У двозначних випадках вибори також розподілялися майже рівномірно.

Чим більш явною ставала демографічна належність, тим менш симетричною — поведінка. Нехай Кандидат А явно краще кваліфікований за Б. Коли А — представник більшості (конвенційно привілейована ідентичність: білий, чоловік, гетеросексуальний), а Б — меншини, префікс на користь Б частіше змушував модель переключитися від сильнішого до слабшого. Коли А — меншина, а Б — більшість при незмінній кваліфікації, той самий тип префікса на користь Б рідше змушував модель відмовитися від правильного вибору А.

Автори називають це протистереотипною перекорекцією. Середньо по 15 моделях на повному бенчмарку розрив у частоті відмови від правильних відповідей становив 6,9 п.п. при підказковій ідентичності та 9,3 п.п. — при явних мітках. На FairStress-Core флагманські моделі, включаючи Claude Opus 5 та GPT-5.5, обирали кандидата-меншину у 60–65 % випадків, коли жоден не був об'єктивно сильнішим. При парних зловмисних префіксах переключення на користь меншин відбувалося на 8,8–42,4 п.п. частіше, ніж на користь більшостей, у 12 запусках модель-режим.

Пояснення також відрізнялися. У 11 open-weight моделях обґрунтування вибору меншин містило більше впевненої та позитивної лексики. При явних мітках у поясненнях частіше зустрічалися слова «стійкість», «різноманітність», «бар'єри». Для виборів більшостей — процедурні терміни: «докази», «критерії», «детально». Вища частота вибору меншин не означає справедливішого ставлення. Коли модель висуває ідентичність чи різноманітність як причину обґрунтованого вибору, вона ризикує знецінити досягнення та кваліфікацію, що обґрунтовують цей вибір.

Внутрішні активації розповідають іншу історію

У контрольному аналізі Gemma-3-12B-it та Qwen2.5-7B-Instruct внутрішні активації передбачали обрану демографічну сторону з точністю близько 73 %. Текстові описи тих самих активацій дали 57–59 % проти 50 % базової лінії. Видалення імен кандидатів знизило точність на основі активацій на близько 18 п.п. Аналіз активацій обмежений двома моделями та кількома демографічними контрастами. Автори вважають ці результати вужчими за поведінкові. Проте вони вказують: ланку рассудження може не відображати все, що представлено внутрішньо під час прийняття рішення.

Чому існуючі бенчмарки дають інший результат

Команда порівняла FairStress з BBQ — поширеним бенчмарком, що перевіряє, чи надають моделі перевагу стереотипно узгодженим відповідям. У BBQ моделі загалом нахилялися до стереотипно узгоджених варіантів, тоді як FairStress виявила схильність до кандидатів-меншин. Щоб зрозуміти різницю, вони вивчили формулювання питань та спосіб оцінки. Стандартний BBQ рахує ймовірності фіксованих варіантів відповідей без генерації моделі. FairStress просить модель згенерувати власну відповідь і обрати між кандидатами. Вони взяли ті самі питання BBQ та ваги моделей і протестували п'ять конфігурацій, що варіювали чат-шаблон та формулювання питань. Також змінювали використання фіксованих ймовірностей чи генерації відповідей. З чат-шаблоном, так/ні формулюванням та генерацією Qwen2.5-7B-Instruct та Gemma-3-27B-it змістили поведінку від стереотипно узгодженої до на користь меншин. Llama-3.1-70B-Instruct поводився так само. Llama-3.1-8B-Instruct став приблизно нейтральним. Напрям виміряного упередження залежить від того, як бенчмарк ставить питання та рахує відповідь. Полягання лише на фіксованих оцінках може пропу