Що показує бенчмарк із реальними додатками про мобільних AI-агентів?

Більшість бенчмарків для мобільних агентів діляться на два табори. Один стежить, чи вміє агент натискати правильні пікселі на екрані. Інший перевіряє, чи обирає агент правильний підпис функції з меню. Обидва пропускають моменти, коли додаток повертає помилку, діалог дозволів блокує наступний крок або агент має згадати вподобання з трьох завдань тому.

MobilePA-Bench замінює обидва на виконувану пісочницю. Пісочниця зберігає живі бази даних додатків. Вона повертає структурований зворотний зв'язок після кожного виклику інструменту. Агент планує складну поїздку, бронює ресторан, потім коригує календар, бо користувач не любить ранкові підйоми. Оцінюється він за кінцевий стан — а не за збіг окремих назв API з еталонним списком.

Бенчмарк охоплює 13 функціональних доменів. До них входять подорожі, фінанси, повідомлення. Календар сусідній із здоров'ям та покупками, а також з управлінням розумним домом. У цих доменах розташовані 212 інструментів. Кожен поводиться як справжній: читає з бази, пише в неї, застосовує дозволи та може зламатися так, як агент не передбачав.

Три розширені виміри лежать поверх базового використання інструментів. Перше — співпраця під-агентів. Складний запит розбивається на частини. Спеціалізовані під-агенти обробляють шматки: один шукає рейси, інший перевіряє умови скасування готелю. Окремий під-агент синхронізує результат з календарем. Центральний планувальник має чисто передавати контекст і зшивати результати. Друге — робота з пам'яттю. Агент має згадати збережені спогади та профілі користувачів. Минулі вподобання теж враховуються, щоб вирішити неявні прохання. Якщо користувач колись казав «ніколи не бронюй місця біля вікна», агент застосовує це без нагадування. Третє — використання навичок. Готові композитні навички замінюють покрокове планування для поширених патернів. Агент викликає навичку «забронювати переліт» замість ручного ланцюга пошук, вибір, оплата, підтвердження.

Експерименти з поточними фронтовими LLM показують різкі падіння, коли пісочниця вимагає суворого порядку інструментів. Обмеження дозволів ще більше знижують успішність. Несподіванкі помилки виконання — таймаут мережі, блокування бази — спричиняють каскадні збої. Прострочений токен теж ломить ланку. Автори заявляють, що продуктивність різко падає за таких умов. Жодна тестована модель не залишається надійною на повному наборі.

Пісочниця також слугує інтерактивним фундаментом для агентного підсилення. Оскільки кожен крок дає перевірну зміну стану, сигнали винагороди можна виводити з доказів, а не з статичного ключа відповідей. Це перетворює бенчмарк на тренувальний полигон, а не лише тестовий набір.

Автори роботи — Yi Zhu, Xiongwei Wu, Qiyi Wang, Tingyu Qu, Jiajun Liu, Sihan Cao, Long Chen, Weigao Sun, Feida Zhu; Yiran Zhong і Steven Hoi. Препринт з'явився на arXiv 24 серпня 2026 року.

Залишаються за межами пісочниці питання про споживання батареї. Також невирішеними лишаються довіра користувачів до рішень агента та його поведінка при втраті зв'язку посеред завдання.