NVIDIA представила новий прискорювач штучного інтелекту HGX H200 на архітектурі Hopper та пам'яті HBM3e

NVIDIA анонсувала HGX H200, нову апаратну обчислювальну платформу для штучного інтелекту на базі архітектури NVIDIA Hopper з графічним процесором H200 Tensor Core.

NVIDIA HGX H200 вперше пропонує високошвидкісну пам'ять HBM3e. Прискорювач має 141 ГБ пам'яті зі швидкістю 4,8 ТБ/с. Це в 2,4 рази швидше, ніж у NVIDIA A100. Очікується, що великі серверні та хмарні провайдери почнуть використовувати H200 у своїх системах до другого кварталу 2024 року.

Окрім апаратного забезпечення, NVIDIA також розвиває програмні аспекти ШІ, пропонуючи разом з новим прискорювачем бібліотеки з відкритим вихідним кодом TensorRT-LLM.

Наприклад, прискорювач H200 може забезпечити модель Llama 2 з 70 мільярдами параметрів з удвічі більшою швидкістю порівняно з H100. Очікується, що нове програмне забезпечення збільшить продуктивність ще більше.

NVIDIA H200, доступний у чотирьох- та восьмиканальних конфігураціях, буде сумісний з апаратним та програмним забезпеченням HGX H100. Він також використовується в поєднанні з процесорами NVIDIA Grace з надшвидким з'єднанням NVLink-C2C для створення GH200 Grace Hopper з HBM3e. Завдяки NVLink і NVSwitch, HGX H200 відмінно справляється з навчанням LLM і важким моделюванням, пропонуючи понад 32 петафлопс глибокого навчання FP8 і 1,1 ТБ пам'яті.

Прискорювачі можна розгорнути в будь-якому центрі обробки даних, а партнери, такі як ASRock Rack, ASUS, Dell та інші, можуть модернізувати існуючі системи за допомогою H200. Хмарні провайдери, такі як AWS, Google Cloud, Microsoft Azure та Oracle, розгорнуть станції на базі H200 наступного року.