Що змінює Android Bench 2.0 для розробників, що використовують інструменти кодування з ШІ?

Google презентував Android Bench 2.0 17 вересня 2026 року. Оновлення додає довгострокові завдання, на які людські інженери витрачають дні, і вводить безперервну оцінку замість двійкового «пройдено/не пройдено».

Від виправлень помилок до тижневих викликів

Перша версія Android Bench перевіряла, як моделі працюють із інкрементними змінами. Виправлення багів. Дрібні запити на функції. Цей обсяг відповідав можливостям ШІ того часу. Він також відображав реальне використання асистентів розробниками. Android Bench 2.0 піднімає планку. Довгострокові завдання тепер охоплюють оновлення залежностей у кодовій базі та створення нових функцій з нуля. Будова повних додатків — ще одна категорія. Конвертація крос-платформових проектів на Android — четверта. На ці задачі інженер витрачає кілька днів, а іноді тиждень. Бенчмарк тепер відображає роботу, яку розробники делегують ШІ сьогодні.

Безперервна оцінка замість двійкових оцінок

Двійкове «пройдено/не пройдено» приховує важливі деталі. Агент може рефакторити 40 екранів на Jetpack Compose і налаштувати таблиці БД. При цьому виконає 90 відсотків вимог. Однак єдиний провал на граничному випадку все ще дає нульовий результат. Нова методологія рахує коефіцієнт завершеності. Вона поєднує функціональність і візуальну відповідність. Уникнення регресій — третій фактор. Об'єктивні штрафи нараховуються за відхилення від інструкцій оцінки або структурних обмежень. Лідерборд показує відсоток проходження та коефіцієнт завершеності. Також виводиться середня вартість для кожної моделі та завдання. Найвищий відсоток проходження довгострокових задач сягає близько 28 відсотків. Оригінальні завдання все ще дають приблизно 91 відсоток.

Де моделі успішні

Моделі краще пишуть новий код, ніж рефакторять існуючий. Рефакторинг та міграція залежать від архітектурної складності, а не від сурого обсягу рядків. Детерміновані перетворення працюють добре. Конвертація Java у Kotlin та заміна Retrofit на Ktor — два приклади. Введення шару ViewModel — третє. Моделі послідовно застосовують ці патерни понад 125 файлах і 8000 рядках.

Де моделі застрягають

Валідація під час виконання ламає їх. Відсутні графіки впровадження залежностей спричиняють помилки. Ломливі зміни фреймворків — теж. Пробіли знань щодо неопублікованих бібліотек — ще одна причина. Перенесення крос-платформових додатків залишається невирішеним. Жодна модель не досягає 100 відсотків проходження. Фронтєр-моделі максимум досягають 80 відсотків завершеності.

Оцінка агентів з'явилася в обсязі

Тестування лише моделей ігнорує реальну роботу розробників. Android Bench 2.0 додає агентну оцінку. Кожна модель запускається з агентом від свого провайдера. GPT 5.6 Sol працює на Codex. Gemini 3.8 Flash — на Google Antigravity. Таке поєднання показує, як дизайн обгортки покращує результат. Кешування промптів і компактне вікно інструментів скорочують витрати токенів. Майбутні розширення перевірять перехресні комбінації моделей і агентів. Мета — допомогти командам знайти найкращі пар для свого workflow.

Нові моделі в лідерборді

Лідерборд тепер включає Gemini 3.8 Flash і Gemini 3.7 Flash. Також там OpenAI GPT-6 і Anthropic Fable 5.1. Доповнюють список Kimi K3 і Qwen 3.8 Max. OpenAI GPT-6 Astra лідирує з 28 відсотками проходження довгострокових задач. Зворотний зв'язок формує майбутні оновлення. Розробники можуть ділитися пропозиціями на GitHub та X. LinkedIn теж доступний для зв'язку.