Що потрібно AI-агенту, щоб обробити податкове завдання?

П'ятдесят завдань, лише два доступні

Бенчмарк спрямований на агентів, що працюють на довгі горизонти. Податкову сферу обрали через необхідність суду, аналізу великих масивів файлів та узгодження суперечливих записів за роками та суб'єктами. Юрисдикції додають ще один шар складності. Повний набір охоплює декларації фізичних осіб та сімей. Дрібний бізнес і партнерства теж входять до набору. Нерухомість, інвестиції, спадщини, довіри — окремі категорії. Міжнародне оподаткування, корпоративні угоди, перевірки, спори — усе це покрите.

Сьогодні завантажити можна лише два завдання.

Решта сорока восьми залишаються закритими. Доступ відкривається після листа на benchmarks@surgehq.ai.

Що бачить агент усередині

Завдання постачається у форматі Harbor. Це файл інструкцій, конфігурація, контейнероване середовище Linux та автоматизовані тести. Середовище готове до обробки документів і таблиць. Мережевий доступ обмежений явно дозволеними хостами API моделей. Перегляд вебу та завантаження пакетів заблоковано.

Допоміжні матеріали йдуть далеко за рамки податкових декларацій. З'являються статути та реєстри акцій. Гарантії боргів теж присутні. Диспетчерські журнали і логи використання суден — ще одні джерела. Кореспонденція з клієнтами завершує перелік. Виглядає правдоподібно — але може пропустити той факт, що вирішує результат. У бенчмарку зафіксовано помилки у попередніх деклараціях. Необґрунтовані припущення в робочих проектах — друга проблема. Зобов'язання, виявлені лише в операційних логах — третя.

Чому прохідний бал — дев'яносто п'ять відсотків

Детальна рубрика супроводжує кожне завдання. Медіана — тридцять половина критеріїв. Спроба рахується успішною лише при виконанні принаймні дев'яносто п'яти відсотків. Опубліковані результати показують pass@1 за цим порогом. Протокол оцінки передбачає п'ять спроб на завдання.

Результати лише на двох публічних зразках не дають оцінки повного бенчмарку.

Робочий простір великий. Повний набір містить тисячу сімсот вісімдесят дев'ять файлів. Середньо на завдання — тридцять п'ять цілих вісімдесят сотих. Медіана — тридцять. Діапазон — від дванадцяти до ста двадцяти трьох. Розбивка за типами: тисяча чотириста вісімдесят сім PDF. Сто сімнадцять Excel-книг. Тридцять вісім Word-документів, плюс листи, CSV, JSON, зображення та текстові файли.

Як створювали завдання

Податкові фахівці формували завдання з реальних робочих процесів та рішень. Вони підготували підтримуючі записи та очікувані результати. Критерії оцінки розробляли окремо. Синтетичні документи моделюють форми, які використовують практики. Кожне завдання пройшло три рівні експертної перевірки. Перевіряли правильність і повноту. Вирішуваність оцінювали окремо.

Учасники мають досвід у корпоративному та приватному екітетному оподаткуванні. Розподіли в партнерствах і нерухомість — теж у зоні експертизи. Декларації фізичних осіб та довіри — ще напрямки. Багатодержавний комплаєнс закриває перелік.

Як запустити оцінку самостійно

Встановіть harness DAYJOB з GitHub. Налаштуйте ендпоінт моделі та облікові дані для оцінювання. З директорії harness запустіть один зразок через інструмент командного рядка harbor. Підставте шлях до завдання та плейсхолдер моделі. Задайте необхідні API-облікові дані за документацією. Для порівняння з опублікованими результатами використовуйте повний бенчмарк і задокументовану конфігурацію оцінки з п'ятьма спробами на завдання.

П'ять спроб на завдання обов'язкові для публічних порівнянь.

Картка датасету поширюється за ліцензією MIT. Репозиторій важить два цілі тридцять три мегабайти. У ньому два рядки у єдиному тестовому розділі. Канарійний рядок SURGE_DAYJOB_TAX_CANARY_PMQjWdGiSSKJSu9OmoebC2a0IFQayJpA позначає дані. Призначення — held-out оцінка. Завдання, підтримуючі файли, рубрики та похідні матеріали не слід включати в тренувальні датасети. Fine-tuning, RL, дистиляція — теж заборонені. Не використовуйте їх для вибору чекпоінтів під час тренування.