Чим NVIDIA Vera відрізняється від будь-якого іншого серверного процесора

Агенти витрачають половину часу на CPU

Агенти штучного інтелекту не лише генерують відповіді. Вони шукають інформацію, запитують бази даних. Пишуть і тестують код, виконують дії. Кожен з цих кроків покладається на процесор. Агенти постійно перемикаються між GPU для рассудження та CPU для виконання. Чим більше агентів запускають бізнеси, тим вищий попит на процесори, здатні швидко обробляти ці етапи і обслуговувати багато агентів одночасно. Усе це — в межах наявного енергобюджету.

Обмеження потужності змушують обирати між швидкістю та щільністю

Провайдерам інфраструктури треба підтримувати більше агентів, не змушуючи кожного довго чекати. AI-факторії обмежені потужністю. Операторам потрібне обладнання, яке витискає максимум роботи з кожного вата. Досі це означало поєднання швидких x86-частин з щільними x86-частинами для балансу продуктивності та ємності. Vera дає і високу швидкість роботи агентів, і велику ємність на ват — у одному процесорі. Провайдерам достатньо одного CPU для різноманітних навантажень агентів.

Що показує тест на 100 мегават

У порівнянні дата-центра на 100 мегават NVIDIA виявила: один Vera перевершує найшвидший x86-процесор і найенергоефективніший x86-процесор. Vera забезпечує лідерську швидкість агентів, дозволяючи запускати в 1,6 рази більше агентів на ват порівняно з найшвидшим x86. Проти найенергоефективнішого x86 Vera видає у 2 рази вищу швидкість агентів при лідерській енергоефективності. Конкретні моделі x86, що брали участь у порівнянні, не називаються.

Шість компаній вже тестують у продакшн

Ранні користувачі бачать ту саму виняткову продуктивність у тестах, близьких до продакшн. Perplexity прискорила агентне кодування у 1,5 раза порівняно з традиційними CPU і планує впровадити Vera у майбутній продакшн-системі. DeepInfra досягла до 2,2-кратного прискорення найкращого x86-процесора при агентній оркестрації для своїх продакшн-навантажень — найкращий результат з чотирьох перевірених архітектур. ClickHouse запустила стандартний бінарник без спеціального налаштування під Vera, масштабувалася майже лінійно на 176 ядрах і очолила рейтинг обладнання ClickBench. DuckLabs показала близько 1,5-кратну медіанну продуктивність TPC-H SF1000 відносно базової лінії Intel Xeon 6. Daytona підняла 1000 пісочниць агентів за 10,8 секунди і досягла 12,7 завершених завдань на секунду при 2000 одночасних пісочницях на Vera — проти 88,4 секунди на x86. Modal отримала до 2-кратного прискорення пропускної здатності пісочниць на ядро порівняно з порівнянним x86-обладнанням, і приріст зростав під важким навантаженням.

Коли з'явиться система з Vera

У статті є посилання на сторінку з деталями про NVIDIA Vera CPU та на ключову промову Дженсена Хуанга на GTC Berlin, заплановану на середу, 21 жовтня, 11:00 за центральноєвропейським часом. Дати загальної доступності систем з Vera не повідомляють. Кількість Vera, що вже перебувають у клієнтів, не розкривається.