Microsoft анонсувала перший AI-чіп Maia 100

На конференції Ignite 2023 Microsoft вперше розповіла про розробку власного чіпа прискорювача штучного інтелекту під назвою Maia, поділившись специфікаціями Maia 100 напередодні заходу. Maia 100 є одним з найбільших 5-нм процесорів TSMC і спеціально розроблений для високих робочих навантажень в Azure.

Maia 100 має наступні характеристики:

• розмір чіпа - 820 мм2;
• техпроцес - TSMC N5 з технологією інтерпозитора COWOS-S;
• HBM BW/Cap - 1,8 ТБ/с при 64 ГБ HBM2E;
• Peak Dense Tensor POPS - 6 біт: 3, 9 біт: 1.5, BF16: 0.8;
• L1/L2 - 500 МБ;
• Backend Network BW - 600 ГБ/с (12X400 ГБ);
• Host BW (PCIe) = 32 ГБ/с PCIe Gen5X8;
• Вимоги до TDP - 700 Вт;
• TDP - 500 ВТ.

Microsoft Maia 100 має вертикальну інтеграцію для оптимізації витрат і продуктивності, а також кастомізовані серверні плати зі спеціально розробленими стійками та програмним стеком для підвищення продуктивності.

SoC Maia 100 має наступну архітектуру:

• Високошвидкісний тензорний блок для навчання та обробки вихідних даних з підтримкою широкого спектру типів даних 16xRx16.
• Векторний процесор, що являє собою слабозв'язаний суперскалярний движок, розроблений з використанням архітектури набору інструкцій (ISA) для підтримки широкого спектру типів даних, включаючи FP32 і BF16.
• Прямий доступ до пам'яті (DMA) з підтримкою різних схем сегментації тензорів.
• Асинхронне програмування, що забезпечується апаратними семафорами.
• L1 і L2 управляються програмним забезпеченням для кращого використання даних та енергоефективності.
• Maia 100 використовує Ethernet-з'єднання зі спеціальним протоколом типу RoCE для надвисокошвидкісних обчислень, підтримуючи "all-gather" і  "scatter-reduced" пропускну здатність до 4800 Гбіт/с і пропускну здатність  all-to-all до 1200 Гбіт/с.



Maia SDK дозволяє швидко перенести моделі PyTorch і Triton на Maia за допомогою інструментів для легкого розгортання в Azure OpenAI Services. Розробники можуть використовувати мову програмування Triton для DNN або API Maia для оптимізації продуктивності. SDK також підтримує моделі PyTorch нативно.