Що означає NVIDIA Confidential Bare Metal для розробників моделей, що масштабуються між хмарами

Відмінності Confidential Bare Metal від існуючих варіантів

NVIDIA Confidential Computing тепер пропонує три моделі розгортання. Confidential Virtual Machines працюють у віртуалізованих середовищах. Confidential Containers обслуговують навантаження Kubernetes. Новий Confidential Bare Metal адресує інфраструктуру без віртуалізації безпосередньо.

Це важливо, бо розробники моделей тепер можуть володіти власною програмною стікою — включаючи хост та платформне ПЗ — на виділеному «залізі» третіх сторін. Оголошення позиціонує це як спосіб підібрати правильну модель до конкретних меж довіри та експлуатаційних вимог. Ізоляція на рівні заліза та криптографічна атестація захищають моделі та дані під час виконання. Шлях bare-metal додає елементи управління безпекою платформи: захист даних у транзиті та вимірювання цілісності платформи. Окремо — обмеження доступу на апаратному рівні.

Де працює новий варіант і хто його підтримує

Підтримка поширюється на стікові системи Grace Blackwell NVL72. Також охоплює x86-системи HGX Rubin NVL8 та DGX Rubin NVL8.

Дев'ять хмарних та нехмарних провайдерів приєдналися: CoreWeave, Firmus, GMI Cloud, Google Cloud, IREN, Lambda, Microsoft Azure Infrastructure, Nebius, Nscale та Vultr. Шість глобальних системних партнерів доставлять ці можливості через NVIDIA-Certified Systems: Cisco, Dell Technologies, HPE, Lenovo, Supermicro та Bull. DSX OS підтримуватиме всі режими Confidential Computing, даючи хмарним провайдерам програмну базу для AI-факторій, що обробляють конфіденційні навантаження. У оголошенні немає даних про те, скільки таких систем вже розгорнуто, чи коли кожен провайдер досягне загальної доступності.

Що роблять з цим Cohere та Google Cloud

Cohere планує інтегрувати Confidential Bare Metal у Cohere Model Vault. Інтеграція використовує довірені середовища виконання, щоб поширити апаратну безпеку безпосередньо на GPU. Це захищає моделі та дані в пам'яті та інтерконектах під час роботи. Філ Блансом, технологічний директор Cohere, зазначив, що підприємства довіряють Cohere надання безпечної та конфіденційної платформи для інференсу.

Google Cloud розширює підтримку до екземплярів A4X Max на базі систем GB300 NVL72. Вони поєднують прискорене обчислення без віртуалізації з криптографічним захистом тренувальних даних та інтелектуальної власності моделей. Андрес Лагар-Кавілья — відомий інженер Google Cloud, який також очолює напрям безпеки AI-інфраструктури. Він стверджує, що екземпляри A4X зберігають приватність даних користувачів та захищають IP моделей. Найвищу продуктивність сервінгу вони також забезпечують.

Обмеження оголошення

У релізі немає бенчмарків продуктивності. Немає деталей ціноутворення для жодної моделі розгортання. Немає термінів поставки систем Rubin з увімкненим Confidential Computing. Документ не розкриває, скільки bare-metal-елементів існує сьогодні у екосистемі провайдерів. Також відсутній детальний опис потоку атестації для багатоГПУ конфігурацій NVL72. Кінноут на GTC Berlin 21 жовтня о 11:00 за ЦЄЛТ може додати контексту, але сам блог-пост зупиняється на архітектурі та партнерських зобов'язаннях.