Чи здатний локальний агент мовної моделі створити робочі дані-конвеєри?

Новий бенчмарк перевіряє, чи open-weight моделі на одному споживчому GPU можуть видавати повні, відтворювані артефакти інженерії даних. Дослідження оцінює десять конфігурацій моделей по п'ятнадцяти задачах мобільності — вимірює не лише код, а чи скрипти, таблиці, фігури та звіти проходять детерміновану валідацію.

Що саме вимірює бенчмарк

П'ятнадцять задач охоплюють повний життєвий цикл даних мобільності: пошук і конектори, обробку транспортних потоків, семантичне збагачення. До того ж — фіч-інжиніринг, валідацію, візуалізацію та звітність. Кожна задача вимагає від агента видати кілька типів артефактів — скрипти й структуровані файли, таблиці, фігури, наративні звіти. Детерміновані перевірники контролюють кожен артефакт проти еталонних очікувань. Людський оцінювач не бере участі в скорингу.

Десять локальних конфігурацій моделей запускаються в двох режимах. One-shot генерація дає одну відповідь на задачу. Closed-loop режим дозволяє агенту інспектувати проміжні артефакти, виявляти помилки та виправляти їх перед фінальною відправкою. П'ять повторень на модель і режим дають 1500 оцінених спроб. Кожну задачу проганяють п'ять разів. Усі запуски виконуються на одному споживчому GPU.

Робоче середовище змінює все

Для кожної моделі понад два мільярди параметрів closed-loop workspace підвищує pass rate на 26,7–52,0 відсоткових пунктів порівняно з one-shot. Механізм простий: коли агент бачить провалений тест або зіпсовану таблицю, він переписує код і пробує знову. Приріст концентрується в задачах, де проміжні артефакти виявляють конкретні помилки — відсутній стовпець, невідповідність схеми. Задачі без таких чекпоінтів показують менший приріст.

Найсильніша конфігурація досягає 85,3 відсотка успіху на рівні артефактів. Квантована модель у дев'ять мільярдів параметрів дає 69,3 відсотка, займаючи близько 6,5 ГБ VRAM. Цей обсяг пам'яті поміщається на багатьох сучасних mid-range картах. Менші моделі нижче двох мільярдів параметрів не отримують помітної користі від workspace; їх базова здатність занадто низька, щоб скористатися циклом зворотного зв'язку.

Масштаб моделі: квантування та межа пам'яті

Єдиної найкращої моделі в даних немає. Робота мапує поверхню компромісів: більші моделі частіше показують успіх, але вимагають більше пам'яті. Квантування зменшує вимоги до VRAM з невеликими втратами точності. Архітектурні вибори зсувають криву. Дев'ятимільярдний квантований варіант сидить у практичному sweet spot для інженерів, які не можуть дозволити собі топові карти. Чи сім-, чи чотирнадцятимільярдна модель краще працюватиме для конкретного пайплайну — залежить від міксу задач. Бенчмарк дозволяє командам відповісти на це питання до зобов'язання compute-бюджету.

Runtime звітується, але не виділяється як основна вісь. Стаття зазначає: closed-loop запуски тривають довше через цикли ремонту. Для пакетної інженерної роботи додаткові хвилини рідко мають значення. Для інтерактивного використання — можливо.

Що це означає для власника ноутбука чи робочої станції

Якщо ви запускаєте open-weight модель локально для побудови даних-конвеєрів, бенчмарк дає відтворюваний спосіб протестувати весь стек — модель, квантування, обгортки інструментів, перевірочний харнес — перед тим, як довірити його продакшн даним. П'ятнадцять задач мобільності предметно-орієнтовані, але метод узагальнюється: визначте свої задачі, напишіть детерміновані перевірники, запустіть той самий протокол з п'ятьма повтореннями. Стаття не стверджує, що результати переносяться на інші домени без повторної оцінки.

Датасет та оціночний код викладено поруч з препринтом. Пропрієтарні API ключі не потрібні. Весь експеримент працює офлайн.

Де пояснення закінчується

Галюциновані виклики бібліотек, що випадково проходять перевірники, не вимірюються. Робота не порівнює локальних агентів з cloud-hosted аналогами на тих самих задачах. Вона не квантує інженерну зусилля на написання детермінованих чек-листів для нового домену. Ці питання залишаються відкритими для подальшої роботи.