Чи здатна локальна мовна модель перетворити звіт про помилку на вхідні дані, що викликають збої?

Що насправді вимірював експеримент

Відтворення вразливості означає перетворення текстового опису недоліку на вхідні дані, що змушують вразливу збірку аварійно завершити роботу. Це завдання ближче до генерації тестів, ніж до розуміння коду, оскільки агент має виконати програму, а не лише прочитати її. Автори обрали ціль саме тому, що локальні моделі з відкритими вагами працюють на одному споживчому GPU без відправки коду на зовнішній сервіс.

Вони оцінили дванадцять конфігурацій. Тест охоплював три покоління моделей і дві архітектури. Квантування перевіряли на трьох рівнях. Кожна конфігурація запускалася тричі на кожному з десяти завдань CyberGym у єдиному середовищі. Повний артефакт опублікували разом із препринтом.

Розмір моделі визначає межу можливостей

Кожна конфігурація, починаючи з моделі 4B, вирішила більшість з шести простіших завдань. Навіть 4B спрацювала. Різниця з'явилася лише на чотирьох складніших завданнях. Для їхнього вирішення знадобилася модель 27B. Менші моделі не досягли того ж відсотка успіху незалежно від кількості запусків.

Квантування не змінило те, які завдання вирішують моделі, в жодній парі для порівняння. Воно вплинуло лише на швидкість. Архітектура суміші експертів досягла тих самих результатів за менший час за годинником, ніж густі аналоги подібного розміру.

Що показують траєкторії агентів

Майже кожен перевірений запуск — навіть невдалий — називає вразливу функцію і висуває правильну гіпотезу. Різниця між вирішеним і невирішеним завданням — у тому, чи перетворюється гіпотеза на робочі вхідні дані. Провали зазвичай виникають на етапі перекладу гіпотези в конкретний експлойт, а не на етапі аналізу.

Стаття займає тридцять п'ять сторінок. У ній — шість рисунків і п'ять таблиць. Це препринт рукопису, що розглядається в Journal of Systems and Software.