Nvidia готує GPU нового покоління для роботи з мільйонним контекстом

Nvidia представила графічний процесор Rubin CPX, спроектований спеціально для мовних і мультимодальних моделей, яким необхідно утримувати і аналізувати величезні обсяги даних. Чіп оптимізований під обробку контекстів понад 1 мільйон токенів — показник, який значно перевищує можливості сучасних систем.

Архітектура Disaggregated Inference

Ключова інновація Rubin CPX — використання архітектури disaggregated inference. При такому підході кілька GPU обробляють різні частини завдання, а потім об'єднують результати в єдину відповідь. Це підвищує швидкість роботи, знижує затримки і робить використання ресурсів більш ефективним. Особливо корисно це для аналізу документів, генерації мультимедійного контенту і роботи з великими кодовими проектами.

Прорив для бізнесу і науки

Nvidia відзначає, що Rubin CPX відкриває нові горизонти для юристів, медиків і розробників. У праві він допоможе працювати з сотнями сторінок законів, в медицині,  зіставляти великі масиви даних пацієнтів, а в IT,  аналізувати цілі проекти замість окремих файлів. У творчій сфері GPU дозволить генерувати довгі відеоролики та комплексні мультимедійні проекти.

Фокус на інференс, а не навчання

На відміну від традиційних рішень, Rubin CPX націлений насамперед на оптимізацію інференсу — прискорення роботи вже готових моделей. Це робить його привабливим для компаній, яким важливо швидше впроваджувати ШІ в реальний бізнес при зниженні витрат.

Вихід на ринок

Поява Rubin CPX очікується в кінці 2026 року. Експерти припускають, що саме цей процесор може задати новий стандарт для індустрії, де робота з довгим контекстом перестане бути рідкістю і стане нормою.