Чому NVIDIA заявляє про 30-кратний приріст агентної роботи на ват при Vera Rubin NVL72?

Агентні навантаження споживають токени інакше

Звичайний чат-запит витрачає кілька тисяч токенів. Агент, що досліджує інвестиційне рішення, звертається до баз даних і файлів. Далі він запускає суб-агентів для порівняння з конкурентами. Потім рахує оціночні моделі і синтезує рекомендацію. Кожен крок додає токени до контексту. Наступний крок споживає накопичений контекст як вхід. За даними OpenRouter, агентні навантаження вимагають у 15 разів більше токенів, ніж простий чат. Контекст може досягати сотень тисяч вхідних токенів. Довжини входу і виходу сильно розбігаються між запитами. Вимірювання окремого інференс-запиту більше не відображає реальне навантаження.

Вимірювання, яке дало число 30x

NVIDIA вимірювала інференс-пропускну здатність на робочому навантаженні SemiAnalysis AgentX. Це записані реальні агентні сесії кодування. Зберігаються реальний ріст контексту та виклики інструментів. Також фіксується запуск суб-агентів. На моделі DeepSeek V4 Pro система GB300 NVL72 вже видавала аж до 15 разів вищу пропускну здатність на мегават за архітектурою Hopper. Vera Rubin NVL72 посилила цю перевагу до 30 разів вищої пропускної здатності на мегават порівняно з GB300 NVL72. Результати попередні і зараз на розгляді у SemiAnalysis. Вони ще не відображають продуктивність Vera CPU для виклику інструментів.

Як залізо і софт дають приріст

Домен масштабування NVL72 з'єднує 72 GPU зв'язком з високою смугою і низькою затримкою. Цей домен це забезпечує. Шосте покоління NVLink і комутатори NVLink дають у 10 разів вищу частоту пакетів і в 3 рази меншу затримку за стандартний Ethernet. Такий масштаб розкриває методи, що працюють лише тут. Розділене обслуговування відокремлює обробку контексту від генерації відповіді, щоб кожне масштабувалося незалежно. Узгодження швидкостей синхронізує prefill- і decode-GPU. Масштабний експертний паралелізм розподіляє субмережі mixture-of-experts по домену. Розподілене KV-кешування розтягує пам'ять по GPU. Вивантаження KV-кешу переносить менш активний контекст на хост і сховища. KV-спрямоване маршрутизація напрямає запити на GPU, де вже лежить відповідний кешований контекст. Злиті CUDA-ядра на кшталт MegaMoE поєднують обчислення і зв'язок у єдині проходи виконання. Покращені тензорні ядра п'ятого покоління і третє покоління Transformer Engine прискорюють і prefill, і decode. Квантування NVFP4 стискає ваги моделі до 4-бітної точності. Технології NVIDIA DSX MaxLPS керування енергопостачанням на рівнях GPU та рек. Це дозволяє розмістити аж до 40 % більше GPU в межах того ж мегават-бюджету.

Семичіпова платформа і що далі

Повна платформа Vera Rubin — архітектура з семи чіпів. До неї входять CPU Vera, LPU Groq 3, комутатор NVLink 6. Також туди входять DPU BlueField-4 та Spectrum-6 SPX. Окрім них — SuperNIC ConnectX-9. Усі створені для AI-фабрик, що розгортають агентів у масштабі. Vera Rubin у серійному виробництві і масштабується по екосистемі. Безперервні програмні оптимізації підвищують продуктивність і Vera Rubin NVL72, і GB300 NVL72. Для AI-фабрик з обмеженим живленням пропускна здатність на мегават визначає виручку. Вартість за мільйон токенів визначає маржу прибутку на цій виручці.