Що інфраструктура Vera Rubin від Google Cloud означає для масштабного тренування AI?

Що входить до інстансу A5X

Кожен інстанс A5X поєднує системи NVIDIA Vera Rubin NVL72 з SuperNIC NVIDIA ConnectX-9. Мережа Virgo від Google Cloud з'єднує стійки. Четверте покоління рідинного охолодження знімає тепловий навантаження. Інтегрована платформа спрямована на тренування та інференс. Вона також підтримує великомасштабне підсилюване навчання.

Загальна доступність починається наступного місяця. Google Cloud планує масштабувати інфраструктуру на базі Vera Rubin до 960 000 GPU Rubin у кількох локаціях. Європейське розгортання піде після першого запуску.

Як апаратне забезпечення змінює підсилюване навчання

Першим клієнтом A5X стала Ineffable Intelligence. Лондійську технологічну компанію заснував Девід Сільвер — творець AlphaGo. Він очолює компанію як CEO. Команда розвиває великомасштабне підсилюване навчання для створення так званих супер-систем, що постійно вчаться з власного досвіду.

Навчання через взаємодію вимагає безперервного циклу. Цикл включає генерацію досвіду та оцінку результатів. Далі йде оновлення моделей. A5X інтегрує Vera Rubin до AI Hypercomputer від Google Cloud як єдину систему. Вона поєднує обчислення та мережу. Сховище також входить до пакету для підтримки досвід-орієнтованого навчання на великому масштабі.

«Ми будуємо супер-системи, що постійно вдосконалюються через власний досвід», — сказав Девід Сільвер. «Це вимагає значних обчислювальних потужностей. Потрібен ще й щільний зв'язок між генерацією досвіду та тренуванням на ньому, щоб кожне вдосконалення агента швидко формувало його наступний досвід. Поєднання продуктивності Vera Rubin і високосмугового з'єднання дозволяє посунути дослідження далі. З'єднання працює між CPU Vera та GPU Rubin. Друге з'єднання — між GPU Rubin всередині стійки».

WPP також продемонструвала свою референтну архітектуру креативних агентів на інстансах A5X. Лондійська маркетингово-комунікаційна компанія використала моделі NVIDIA Nemotron та NVIDIA OpenShell. Агенти перетворюють розмовні запити на багатоетапні креативні робочі процеси. До них входять генерація відео та апскейлінг. Рестайлінг відбувається з людського схвалення перед виконанням. OpenShell надає керовані пісочниці для виконання агентів. Це допомагає контролювати доступ до чутливих брендових активів та креативних інструментів. У початкових тестах WPP робочі навантаження, що зазвичай вимагали багатовузлового кластера, запустилися на одному інстансі A5X.

Конфіденційні обчислення на рівні стійки

Коли організації розгортають агентні системи, їм потрібно захищати власні моделі та чутливі дані навіть на інфраструктурі, якої вони не володіють. Google Cloud стане одним з перших хмарних провайдерів, що пропонує NVIDIA Confidential Computing на рівні стійки на bare-metal інстансах. Інстанси A4X Max працюють на базі NVIDIA GB300 NVL72.

Крім того, Google Cloud робить Confidential Computing загально доступним на VM G4 з GPU NVIDIA RTX PRO 6000 Blackwell Server Edition. Це дає гнучку платформу для конфіденційного інференсу та донавчання. Серед клієнтів — Vertebrae та Polaris Cloud. Також до них належить Confidential Core AI. Вони використовують це для розмовної приватності та перевірного виконання агентів. Ще один сценарій — політика-керований корпоративний інтелект.

Енергоефективність та межі розгортання

Для підтримки енергоефективного розгортання на великому масштабі Google Cloud і NVIDIA досліджують можливості NVIDIA DSX MaxLPS для інфраструктури на базі Vera Rubin. Мета — оптимізувати продуктивність на ват. Інша мета — розширити потужність в межах наявних енергетичних бюджетів дата-центрів. Оголошення не уточнює, які обмеження потужності існують на планованих європейських сайтах. Також не зазначено, коли може бути досягнута ціль у 960 000 GPU.