Стартап Etched анонсував новий високошвидкісний чип, що спеціалізується на трансформерах - Sohu

Американський стартап Etched анонсував новий чип, який вони збираються випустити під назвою Sohu. Чип суворо спеціалізований для AI-моделей, що базуються на трансформерній архітектурі, яка найширше використовуються на сучасному ринку-ШІ, і виробляється за техпроцесом TSMC 4 нм. Трансформерна архітектура записана безпосередньо в чип, що значно підвищує його ефективність для моделей побудованих на ній, але робить чип непридатним для інших моделей з іншими архітектурами, як-от CNN, LSTM або SSM. За даними Etched, 8-кратний сервер Sohu може бути таким же потужним, як 160 серверів NVIDIA H100.

Заявлено, що процесор Sohu буде в 10 разів швидшим і дешевшим за чипи NVIDIA Blackwell. Наприклад, сервер Sohu може обробляти токени Llama 70B на 20 швидше, ніж сервер H100 (23 000 токенів на секунду), і на 10 швидше, ніж сервер B200 (~45 000 токенів на секунду).

Мотивом створення такого чіпа є уповільнення закону Мура, що призводить до зниження ефективності чіпів загального призначення. Наразі основні виробники чіпів займаються тим, що збільшують розмір чіпа. Єдине рішення, яке бачить Etched, - зосередитися на спеціалізованих чипах, які можуть бути набагато дешевшими, простішими у виробництві та ефективнішими. Аналогічний підхід було застосовано у випадку з чіпами ASIC для майнинга криптовалют, які виявилися в 10-100 разів швидшими за звичайні GPU.

Основним принципом продуктивності чипів Sohu є спрощення апаратного і програмного конвеєра - виробники прибирають все, що не має відношення до основної мети, як у програмних, так і в апаратних компонентах, роблячи чип вузькоспеціалізованим.