Alibaba Cloud скоротила навантаження на GPU для ШІ-сервісів майже вп'ятеро

14:47, 22.10.2025

Зміст статті

Aegaeon: Перерозподіл ресурсів
Чому Aegaeon — це вигідно

Alibaba Cloud дійшли висновку, що ШІ-сервіси часто використовують ресурси нераціонально. Багато ШІ-моделей нерівномірно споживають потужності, збільшуючи при цьому навантаження на GPU. Саме такий неефективний розподіл потужностей перешкоджає масштабуванню та збільшує витрати, пов'язані з ШІ-інфраструктурою.

Aegaeon: Перерозподіл ресурсів

У відповідь на помічений виклик, Alibaba Cloud представила систему Aegaeon, яка динамічно перерозподіляє ресурси, вирішуючи тим самим проблему. Завдяки системі, графічні модулі тепер можуть перемикатися між моделями в реальному часі, навіть під час генерації відповідей.

Чому Aegaeon — це вигідно

Нова система дозволяє одному GPU обслуговувати до семи моделей одночасно, що є набагато продуктивнішим порівняно з минулими двома-трьома моделями. При використанні Aegaeon затримки при перемиканні між завданнями скоротилися на 97%. Система вже використовується на маркетплейсі Bailian від Alibaba Cloud. І це є важливим кроком на шляху до дешевшої та стійкішої ШІ-інфраструктури.

Поділитися