Що відбувається, коли LLM-агент налаштовує реальну мережу, а не просто пише команди?

Новий бенчмарк NetConfArena розміщує агентів мовних моделей у емульованих багатопристроєвих мережах і спостерігає за їхніми діями. Агенти не лише генерують фрагменти конфігурації — вони виконують дії, аналізують результати і повторюють спроби, поки приховані тест-кейси не пройдуть або не впадуть.

Як працює бенчмарк на емульованому обладнанні

NetConfArena — це не набір питань і відповідей. Система піднімає топології Containerlab з кількома мережевими пристроями, надає агенту компактний інтерфейс дій, а потім оцінює поведінку мережі за допомогою виконуваних тест-кейсів, які агент ніколи не бачить.

Стаття описує 96 шаблонів завдань, зосереджених на протоколах. Кожен шаблон параметризований, тому з нього генерують багато конкретних екземплярів. Автори створили 480 екземплярів усього. Кожен екземпляр дає траєкторію виконання. Загалом зібрано 3840 траєкторій.

Як формуються завдання

Процес починається з матеріалів для людей: документації вендорів, посібників з конфігурації, специфікацій протоколів. Допомога LLM перетворює ці матеріали на повторно використовувані параметризовані шаблони. Шаблони фіксують логіку завдання конфігурації — приклад: налаштування зон OSPF. Інший приклад: конфігурація BGP route reflectors. Конкретні значення вроде IP-адрес чи імен інтерфейсів залишаються для підстановки при інстанціюванні.

Один шаблон дає десятки різних екземплярів, які мають однаковий базовий патерн рассудження, але відрізняються деталями топології.

Де агенти допускають помилки

Оцінка охопила кілька представницьких LLM-агентів. Помилки не обмежилися синтаксичними помилками чи неправильними командами. Траєкторії виявляють прогалини у дотриманні специфікації завдання: агенти ігнорують обмеження, зазначені в промпті, але не змушені інтерфейсом. Також проявляються слабкості у надійному плануванні та виконанні — агент іноді досягає правильного проміжного стану, а потім відхиляється, бо не перевіряє, чи ще виконуються попередні кроки.

Які саме моделі тестувалися — не повідомлено. Відсутні й відсотки успіху по моделях.

Два напрями, що пропонують автори

Перший — валідовані траєкторії стають сигналами для донавчання базових моделей. Траєкторія, що проходить всі приховані тест-кейси, демонструє правильну поведінку в закритому циклі, а не просто правильний синтаксис команд. Другий — механізми harness роблять виконання агента більш надійним і звітним. Бенчмарк сьогодні виступає таким harness, але автори бачать легкіші runtime-гарді, які можна розгорнути поруч з агентом у продакшн.

Жоден напрям не реалізований у виданому бенчмарку; це планується на майбутнє.

Що містить реліз

Запис на arXiv посилається на PDF і експериментальний HTML-рендеринг. Посилання на код і дані ведуть на зовнішні платформи — Hugging Face Spaces, Replicate, DagsHub — але сама стаття не описує вміст цих репозиторіїв. Історія подачі показує єдину версію від 24 Aug 2026. Рецензійний venue не вказано.