Як фабрика ШІ зменшила споживання з чотирьох мегават до трьох без зупинки роботи?

Коли мережа подзвонила

Варун Сіварам спостерігав у Zoom разом із сорока учасниками. Його команда Emerald AI сиділа в конференц-залі Сан-Франциско. Інженери дата-центру та представники енергокомпанії заповнили решту вікон. Silicon Valley Power щойно надіслала сигнал про скорочення навантаження. Фабрикареагувала автоматично. Потужність впала з чотирьох мегават до трьох. Усі зааплодували.

Сіварам каже: вони дивилися, затримавши подих. Це був перший досвід розгортання на тисячах GPU NVIDIA. Мансі Шах, голова продукту, порівняла відчуття зі стартом ракети SpaceX.

Silicon Valley Power з тих пір надіслала більше двохсот подібних сигналів тій самій фабриці. Кожен раз спрацювало.

Що насправді робить програмне забезпечення

Emerald AI Conductor приймає сигнали мережі — запити на розвантаження, події споживчого реагування, зміни тарифів — і перерозподіляє пріоритети завдань. Найменш важливі робочі навантаження відступають. Високопріоритетний інференс працює далі. Фабрика, згодна на гнучкість, отримує право розширюватися. Цей принцип став основою NVIDIA DSX Flex. Conductor інтегрується в DSX Flex по мірі зрілості платформи.

Фабрика Eos від NVIDIA запускає Conductor як учасника програми Flexible Load Interconnect Program від Silicon Valley Power. Це перша комерційна програма енергокомпанії, яка трактує фабрики ШІ як керований ресурс. Conductor реагує менш ніж за хвилину.

Перший комерційний проєкт DSX Flex — фабрика Vera Rubin потужністю 96 мегават у Науково-дослідному центрі фабрик ШІ NVIDIA в Манассас, штат Вірджинія. Він базується на п'яти попередніх демонстраціях на двох континентах.

Цифри Lambda на тому ж залізі

Lambda, хмарний провайдер GPU для понад 10 000 клієнтів, провела першу валідацію DSX MaxLPS на серверах NVIDIA HGX B200. Використали кластер з п'яти стійок і 19 вузлів. Запустивши 19 вузлів у тому ж енергетичному бюджеті, що й 16 вузлів на повній потужності, Lambda досягла на 24 відсотки вищої пропускної здатності кластера за токенами — з приблизно 4 мільйонів токенів за секунду до 5 мільйонів. Енергоефективність зросла на 23 відсотки.

DSX MaxLPS стежить за споживанням енергії на рівні GPU та стійок у реальному часі. Перерозподіляє запас потужності між вузлами залежно від типу навантаження. Тренування та інференс споживають енергію по-різному; MaxLPS оптимізує розподіл на фабриках, де працює і те, і інше.

За прогнозами NVIDIA, DSX MaxLPS дозволить до 40 відсотків більше GPU-потужності для фабрик Vera Rubin NVL72 нового покоління в межах того ж потужностного бюджету в придатних для розгортання середовищах.

Наступний шар — напруга

З масштабуванням фабрик ШІ традиційні низьковольтні схеми додають складності перетворення та обмежують розподіл. Архітектура 800 VDC від NVIDIA зменшує кількість перетворень, підвищує ефективність доставки енергії і підтримує щільніші стійки прискореного обчислення. DSX включає 800 VDC у референсні проєкти. Очікуваний виграш — 3–5 відсотків кінцевої ефективності порівняно з розподілом 54 V, доступно з Vera Rubin NVL72 у 2027 році.

Стійки GB200 NVL72 з прямим рідинним охолодженням виділяють близько 120 кіловат тепла, яке треба десь відвести до того, як енергія дістанеться обчисленням. Накладні витрати на охолодження все ще відволікають електричність від GPU. Швидший GPU все одно чекає на мережу. Погане планування залишає потужність невикористаною.

Єдиний надійний шлях до більшої кількості токенів на мегават — оптимізувати всю фабрику як ціле. DSX Sim — до встановлення першої стійки. DSX OS і DSX Exchange — після запуску. DSX Reference Designs — щоб будівництво починалося з перевіреної архітектури, а не з нуля.

Чому вся фабрика повинна рухатися як єдине ціле

Дженсен Хуанг казав: фабрика в один гігават ніколи не стане фабрикою у два гігавати. Коли системи вдаряються в фізичні обмеження, інженери завжди приходять до одного висновку: перестати оптимізувати частини і почати проєктувати ціле. NVIDIA DSX през