Чому агент каже, що робота готова, а база даних показує відкриту проблему?

Microsoft і Hugging Face випустили ThinkingBox — бенчмарк, що оцінює AI-агентів за реальними записами, які вони залишають, а не за викликами інструментів. У 507 бізнес-процесах, кожен запущений двадцять разів, більшість моделей, що виглядають компетентно за одного разу, розвалюються при повторній роботі.

Агент повідомив: вирішено. База даних каже: чекати.

Клієнт скаржиться на кухонний прилад за $745, що застряг на складі в Нашвіллі п'ятнадцять днів після очікуваної дати доставки. AI-агент робить дев'ять викликів інструментів: отримує замовлення, перевіряє трекінг, двічі читає політику повернень, підтверджує відсутність заявки, відкриває її, фіксує хронологію і закриває як вирішене. Останнє повідомлення запитує, чи можна ще чимсь допомогти. Два моменти невірні. Виняток перевізника все ще відкритий, тому потрібний кінцевий стан — утримання, а не вирішення. Клієнт ніколи не отримав відповідь на своє запитання. Оцінювач, що перевіряє виклики інструментів, побачить дев'ять коректних. Оцінювач, що перевіряє запис у базу, теж побачить це. Проте база даних не погоджується.

Виклик інструменту — не результат

Фінальні відповіді та валідні виклики — лише проксі. Агент може звучати правильно, залишаючи неправильне значення, змінюючи не той запис або створюючи сторонній ефект. Лише записи, що залишилися, дають остаточну відповідь. У спільному абеляційному експерименті на 121 680 валідних спроб через дванадцять LLM-моделей 79 853 спроби не пройшли виконувані перевірки. З цих помилок 67,24 % все одно завершилися чисто, викликали інструмент зміни стану і не повідомили про фінальну помилку інструменту. Виконувані перевірки однак знайшли неправильні значення полів у 77,61 % випадків. Небажані додаткові ефекти — у 43,30 %. Відсутні обов'язкові ефекти — у 25,36 %. Ці виявлення перекриваються. Трейкторія — це твердження. Стан бази — це доказ. Повторення — тест на довіру.

Один успіх — не надійність

Агент, що обробив повернення коректно раз і псував його наступні чотири рази, — не робочий агент повернень. Тому кожне завдання запускається двадцять незалежних разів, кожен з ідентичного чистого бекенду, і бенчмарк публікує три різні числа. Pass@1 — частка всіх спроб, що вдалися. Pass@20 — частка завдань, вирішених хоча б раз у двадцяті спробах. Observed 20/20 — буквальна кількість завдань, що пройшли всі двадцять записаних спроб. Без оцінювачів, без згладжування.

Лідерборд показує Claude Opus 5.5 лідером загалом за 67,16 % pass@1, на дві третини пункту вище за Claude Opus 5. Kimi-K3 — найсильніша open-weights модель, в межах пункту від GPT-6 Astra. Домен має таку ж вагу: Claude Opus 4.6 набирає 68,62 % у роздрібній торгівлі, але лише 8,30 % у автострахуванні. Один хороший запуск говорить, що модель може виконати роботу. Не говорить, чи зробить вона це знову.

Скільки з цього рейтингу виживе після двадцяти повторень

Лише три моделі утримують більшість свого pass@1. GPT-6 Astra зберігає 78 % від одноразового рейтингу. Claude Opus 5.5 і Claude Opus 5 — по 71 %. На іншому кінці GLM-5.1, Kimi-K2.6 і DeepSeek-V4-Pro утримують близько 8 %. Проміжок між тим, що модель здатен зробити раз, і тим, що вона робить кожного разу — це вся історія.

Ширина охоплення і стабільність розходяться

Kimi-K3 має найширше покриття серед усіх перевірених моделей. Вона вирішує 93,89 % бенчмарку хоча б раз: 476 із 507 завдань. Лише 31 завдання повністю її перемагають — найменша кількість у полі. У роздрібній торгівлі вона лідирує відкрито за 82,24 % pass@1, обходячи кожну пропрієтарну модель. Kimi-K3 водночас серед найменш стабільних. Всего 68 із 507 завдань, 13,41 %, проходять у всіх двадцяті спробах.

Картина перевертається з Claude Opus 5. Вона вирішує менше завдань хоча б раз (79,09 %; 106 повністю її перемагають), але завершує 47