Що змінює Vera Rubin від NVIDIA з Groq 3 LPX для AI-фабрик?

Рак, що друкує токени

Звичайний серверний рак стоїть у ряді, гудить, пересуває дані між GPU. Vera Rubin NVL72 робить те саме, але додає другий тип кремнію, присвячений етапу декодування великих мовних моделей. NVIDIA називає таке поєднання токен-фабрикою.

Ідея проста: моделі рассудження генерують по одному токену, і кожна мікросекунда затримки множиться ланцюжком. Groq 3 LPX обробляє цей крок декодування, тоді як Rubin GPU переробляють контекст. Вони спільно проектуються, щоб спільно використовувати кожен шар моделі. У тесті Artificial Analysis з Gemma 4 31B поєднана система видала 3400 вихідних токенів за секунду для сценаріїв із 100 000 токенів довгого контексту. Це в чотири рази швидше за найближчу альтернативну платформу. Бенчмарк використовує відкриту agentic-модель. Цифри взято з оголошення NVIDIA на Hot Chips у Пало-Альто.

LPX сидить поруч з GPU

Groq 3 LPX не замінює GPU. Це розширення. Ракове розгортання може містити 256 прискорювачів LP30, з'єднаних прямими чип-ту-чип з'єднаннями. Rubin GPU та LPU спільно обчислюють кожен шар. У масштабі флоти LPU працюють як гігантський процесор, оптимізований для детермінованого інференсу. Архітектура усуває традиційний компроміс між швидкістю та пропускною здатністю. NVIDIA каже: ще оптимізацій, ще моделей, ще продуктивності — коли поєднуєш із Vera Rubin NVL72.

Nebius — перший AI-хмара, що приймає Groq 3 LPX. Додавання його до Vera Rubin NVL72 у Nebius Token Factory підвищить продуктивність інференсу. Розробники зможуть будувати інтерактивних агентів і системи кодування. Інші real-time AI-досвіди теж стануть доступними у масштабі.

SpaceXAI планує будувати свою майбутню AI-архітектуру навколо NVIDIA Vera Rubin — від дата-центрів на Землі до орбітальних супутників. Компанія розгорне Vera CPU для прискорення CPU-інтенсивної роботи за agentic AI. Оркестрація та використання інструментів — перші завдання. Виконання коду та обробка даних прискорюються; симуляція теж стає швидшою.

Мережування без третього ярусу

Коли AI-фабрики ростуть, мережа стає вузьким місцем. Традиційне рішення — додати третій мережевий ярус. Це додає латентність, непередбачувані сповільнення. Витрати на кабелі, оптику, живлення також зростають.

Spectrum-X Multiplane йде іншим шляхом. Він розділяє мережеве з'єднання кожного сервера на кілька незалежних шляхів, або площин. Кожна працює власною легкою двоповерховою мережею. Результат — плоска мережа, що масштабується до 512 000 GPU без додаткового ярусу. Спеціалізований апаратний двигун всередині ConnectX SuperNIC керує трафіком між площинами та миттєво перемаршрутизує його при будь-якій аварії. Додатки бачать одне швидке, надійне з'єднання. У топології з вісьмома площинами, якщо одна виходить з ладу, мережа все ще зберігає близько 90 відсотків загальної пропускної здатності. Апаратне відновлення в 11 разів швидше за програмне балансування навантаження multiplane. Це перекладається на 1,6 рази вищу видачу AI-фабрики.

Серія комутаторів SN6000 використовує 102,4 терабіт на секунду Spe

Spectrum-XGS Ethernet розширює ту саму спільну розробку на дата-центри. Кілька об'єктів функціонують як єдина AI-супер-фабрика. Мульти-сайтові NCCL collective прискорюються на 1,9 рази. CoreWeave розгортає Spectrum-X Multiplane у продакшні, розкриваючи переваги для своєї AI-хмарної інфраструктури.

Scale-In приєднується до стеку

NVIDIA Scale-In представлений як п'ятий стовп AI-мережування NVIDIA. Він розширює спеціалізоване прискорення на інфраструктурні сервіси. Ці сервіси захищають і керують AI-фабрикою. Експлуатація теж входить у їхні обов'язки. На базі процесора BlueField-4 та програмної платформи DOCA, підключеної через Spectrum-X Ethernet, Scale-In перетворює традиційну північ-південну мережу доступу на уніфікований прискорений інфраструктурний домен. Хмарні обчислення принесли software-defined networking і композицію. Еластичність — третя складова. Agentic AI — наступна платформова зміна. AI-фабрики збирають масовий прискорений обчислювальний ресурс разом із користувачами і додатками, включаючи автономних агентів, що безперервно взаємодіють з даними і сховищами, а також сервісами. Мережування, сховища, кібербезпека та операції тепер мають прискорюватися поруч з AI-обчисленнями. Scale-In доставляє багатоорендове мережування та високопродуктивний доступ до сховищ. In-silicon безпека, еластичне надання ресурсів та real-time спостереження теж входять до набору. Обробка інфраструктури залишається незалежною від вузлових обчислювальних ресурсів.

Спеціалізований кремній отримує місце за столом

NVLink Fusion з'єднує спеціалізовані XPU та CPU зі стеком технологій scale-up та scale-out від NVIDIA. Платформа включає шосте покоління NVLink та NVLink Switch для scale-up мережування. NVLink-C2C забезпечує енергоефективну зв'язність між XPU та CPU. Через екосистему MGX адаптери можуть використовувати перевірені у виробництві ракові дизайни та компоненти. Рішення партнерів-виробників та відкрите ПЗ для розподілених обчислень і розділених робочих навантажень, включаючи кластерний менеджмент, теж доступні. Стандартизуючи GPU- та XPU-базовані системи на уніфікованій архітектурі, NVLink Fusion допомагає розв'язати будівництво дата-центру від готовності кремнію. Оператори можуть спільно використовувати ракові розміри та мережування, включаючи охолодження. Доставку живлення та системи управління теж спільно використовують. Потім коригують мікс GPU та XPU залежно від поставок та вимог робочих навантажень.

Оголошення не називає конкретних партнерів, що приймають NVLink Fusion сьогодні. Воно також не розкриває ціни, споживання енергії на рак чи дати доступності, крім «повного виробництва» для Groq 3 LPX.