Як базовий агент із GPT-4.1 обіграв донавчені моделі на бенчмарку підтримки клієнтів

Що насправді вимірює τ²-bench

Бенчмарк τ²-bench розроблено Sierra. Він оцінює, наскільки добре агент веде діалоги підтримки клієнтів у реальних обмеженнях. Кожне завдання з'єднує агента з LLM-симулятором клієнта. У симулятора є мета, набір інструментів домену. Також є написана політика, яку агент повинен дотримуватися. Агент має вилучити потрібні деталі, не виходити за межі політики та виконати правильні — часто незворотні — дії. Завдання вважається вирішеним лише тоді, коли кінцевий стан бази даних збігається з очікуваним, сувора бінарна нагорода. Бенчмарк охоплює два домени: retail та airline.

IBM запускає власну реалізацію базового ReAct-агента з двофазним циклом THINK → ACT. GPT-4.1 слугує моделлю агента. GPT-5.5 — симулятором клієнта. Чотири спроби на завдання. Оновлення ваг не потрібні.

Як формуються та застосовуються правила

ALTK-Evolve аналізує спроби агента на тренувальних завданнях. Використовує ту саму модель — GPT-4.1 — щоб перетворити успіхи та помилки на короткі поведінкові правила. Ці правила додаються до системного промпту агента як звичайний markdown-список після політики домену. Без оновлення ваг чи людської розмітки.

У кожного правила є показник підтримки: кількість різних тренувальних завдань, з яких воно вилучено. Вища підтримка означає правило, що узагальнилося на більшій кількості завдань, а не разовий випадок. Порівнюють три конфігурації. Базовий варіант — без правил. Sup3 — лише правила з підтримкою ≥ 3. Lossless — всі правила після консолідації (підтримка ≥ 1). У retail lossless містить 292 правила, sup3 — 31. У airline lossless — 101, sup3 — 14.

Що показують цифри на retail та airline

Усі завдання пробуються чотири рази. Mean Accuracy — середній відсоток успіху за чотирма спробами. Pass^4 — відсоток завдань, пройдених у всіх чотирьох спробах — метрика, яку повідомляє лідерборд τ²-bench.

На retail з GPT-4.1 базовий Mean Accuracy становить 78.1%, Pass^4 — 57.5%. Ядро sup