Що змінює новий Nemotron 3.5 Lightning від NVIDIA для агентних AI-навантажень?

Модель для безперервної роботи агентів

NVIDIA випустила відкриту модель Nemotron 3.5 Lightning. Це 30-мільярдний параметричний mixture-of-experts, створений для великих обсягів агентних AI-завдань. Компанія позиціонує її як найефективнішу у своєму класі для тривалих навантажень. Реліз слідує за Nemotron 3 Nano і відображає постійну роботу над відкритими моделями для підвищення точності та швидкості.

Сучасні агентні системи все частіше працюють як ансамблі моделей. Фронтова модель розуміння — Nemotron 3 Ultra або GPT-5.6 — планує та оркеструє робочий процес. Спеціалізовані менші моделі на кшталт Nemotron 3.5 Lightning виконують точкові операції. Перевірка коду, використання інструментів, моніторинг безпеки — усе це їхня сфера. Відповіді на запитання щодо рахунків також входять до цього переліку. Розробка відбувалася за участі Nemotron Coalition. Учасники надали методики оцінки. Також вони поділилися програмним забезпеченням для інференсу та датасетами для покращення моделі.

Швидкісні бенчмарки

Модель видає результат до 4 разів швидше. Це прискорює завершення агентних задач на 30 % порівняно з іншими представниками класу. PinchBench підтверджує: швидше виконання агентних завдань при точності рівні флагманів.

Кастомізація та ранні користувачі

Архітектура відкрита і адаптується. Її можна підтренувати через NVIDIA NeMo на власних доменних даних. Інструменти та процеси також беруться до уваги. Це підвищує точність для спеціалізованих задач. Деякі компанії вже адаптували модель. CrowdStrike застосовує її для кібербезпеки. Harvey разом з Trajectory — у правових сервісах. CodeRabbit з Baseten — для перевірки коду. Lila Sciences працює над розумінням для агентних задач у фізичних та життєвих науках. Fastino Labs повідомляє про лідерську точність у розробці ПЗ та фінансах. Окремо модель показала себе в охороні здоров'я. Підприємства налаштовують Nemotron 3.5 Lightning, досягаючи найвищої точності у спеціалізованих агентних робочих процесах.

Контроль розгортання

Ця архітектура працює на локальних AI-системах. Підтримуване обладнання: NVIDIA RTX PC, NVIDIA DGX Spark, NVIDIA DGX Station, NVIDIA Jetson. Це дозволяє максимально використати наявну інфраструктуру. Масштабування доступне на edge-пристроях, робочих станціях NVIDIA RTX PRO, у дата-центрах та хмарі для корпоративних сценаріїв. Nemotron 3.5 Lightning запускається локально або on-prem для великих обсягів спеціалізованих задач, де потрібні миттєві відповіді.

Як і при кожному запуску Nemotron, NVIDIA публікує якомога більше тренувальних даних та технік у межах ліцензій. Це дає можливість трасування та аудиту. Також це дозволяє тренувати інші моделі. Разом з Lightning виходить Nemotron-RL-Agentic-Terminal-Pivot — датасет для агентного reinforcement learning, що використовувався для пост-тренування програмних здібностей. Компанія не розкриває, скільки таких моделей уже працює у виробничому середовищі.

Бібліотека маршрутизації, що вибирає моделі

NeMo Switchyard — open-source бібліотека маршрутизації для AI-агентів. Технологія автоматично направляє промпти до найбільш здатної та ефективної моделі на кожному кроці агентного процесу. Рішення базуються на конкретних потребах. Розробники агентних додатків можуть налаштувати або змінити роутер за допомогою різних алгоритмів. Пріоритети: якість, латентність, витрати.

У системі моделей підприємства створюють потужні AI-агентів з покращеними токеноміками. Внутрішні бенчмарки показують: NeMo Switchyard зберігає флагманську точність, знижуючи вартість завершення задачі до майже однієї третини від Opus 4.8 у єдиній моделі. NVIDIA співпрацює з партнерами по всьому AI-екосистемі, щоб принести інтелектуальну маршрутизацію в інструменти та платформи, якими розробники вже користуються.

Результати партнерів: скорочення витрат

Boomi оцінив Switchyard за п'ятьма здібностями маршрутизації. Досягнуто 100 % точності доменної маршрутизації. Система направила 59 % трафіку на 5-краще швидшу дообучену модель. Латентність пізніх кроків впала на 21 %. Cadence підвищив ефективність на 9,9 % за допомогою ChipStack AI Super Agent для формальної верифікації. Classmethod запускає opencode та Fireworks навантаження через NeMo Switchyard внутрішньо. Початкове тестування показує скорочення витрат на 27 % при збереженні якості.

Cognition інтегрував етапний роутер NVIDIA NeMo Switchyard у Devin Desktop для внутрішнього використання NVIDIA. Отримано продуктивність рівня флагмана на FrontierCode Main при зменшенні середньої вартості на 28 % відносно маршрутизації всіх запитів до однієї флагманської моделі. Kong надає маршрутизацію з NeMo Switchyard нативно через Kong AI Gateway. LangChain досяг зменшення витрат на 74 % у 145 багатокрокових задачах Deep Agents. Лише 7 % викликів пішли до флагманської моделі з втратою точності в 6 %.

LiteLLM додає NeMo Switchyard як плагін у свій проксі-шар. Розробники отримують переваги без зміни наявного стеку. Nous Research інтегрував NeMo Switchyard у Hermes. Це дає розробникам легко налаштовану систему маршрутизації для підвищення ефективності агентів. Ramp використав NeMo Switchyard, досягши продуктивності флагманської моделі при скороченні витрат на 58 % та часу виконання на 33 % у Ramp SWE-Bench. Siemens проводить бенчмарки для підвищення ефективності у своєму Fuse EDA AI Agent.

Доступність

Nemotron 3.5 Lightning доступна на Hugging Face та ModelScope, а також на OpenRouter. Також її можна отримати через build.nvidia.com як NVIDIA NIM мікросервіс. Розповсюдження йде через широку екосистему NVIDIA Cloud Partners, платформ пост-тренування та інференс-платформ, а також хмарних провайдерів. NeMo Switchyard викладено на GitHub і скоро з'явиться на партнерських платформах. Реєстрація на NVIDIA GTC Berlin відкрита на 20–22 жовтня. Компанія не оголошувала графік майбутніх релізів Nemotron за межами цього розширення родини Nemotron 3.