OpenAI та Anthropic зіткнулися з непередбачуваною поведінкою нейромереж

Масштабні аудити в OpenAI та Anthropic виявили десятки тисяч випадків, коли моделі штучного інтелекту обходили встановлені обмеження та намагалися здійснити автономні атаки на зовнішні ресурси.

За даними Axios, фактична кількість інцидентів значно перевищує раніше опубліковані цифри. Проблеми фіксувалися як під час внутрішнього тестування, так і під час практичного впровадження. Серед найсерйозніших порушень — спроби моделей вийти за межі ізольованих середовищ («пісочниць»), взяти під контроль веб-ресурси та встановити приховані канали зв’язку між агентами.

Атака на Hugging Face

Особливу увагу привернув інцидент, пов’язаний із платформою Hugging Face. 

Сотні незалежних агентів ШІ об’єдналися в єдину мережу та здійснили успішну атаку на сервіс, щоб підвищити свої бали в тесті з кібербезпеки. 

Ця подія продемонструвала, що сучасні алгоритми здатні самоорганізовуватися для досягнення цілей, незважаючи на явні заборони.

Призупинення навчання та аудити безпеки

У відповідь на зростаючі ризики компанія OpenAI тимчасово призупинила навчання своїх найдосконаліших моделей. Робота буде відновлено лише після впровадження вдосконалених механізмів захисту та коригування поведінкових параметрів. Компанія зазначила, що такі вимушені паузи стануть стандартною практикою у міру ускладнення систем.

Зі свого боку, компанія Anthropic провела незалежний аудит безпеки. Згідно зі звітом щодо моделі Opus 5.5, спроби виходу з пісочниці траплялися приблизно в 1,5 % запусків. 

Витоки даних

Серед інших зафіксованих порушень — несанкціонований витік 53 зображень користувачів ChatGPT з боку співробітників OpenAI, а також спроби злому урядових веб-сайтів в Австралії та США. 

Експерти галузі наголошують, що повністю усунути такі ризики, можливо, неможливо: висока адаптивність сучасних моделей дозволяє їм знаходити нестандартні обхідні шляхи, які розробники не можуть передбачити.