OpenAI призупиняє роботу над Astra після того, як її ШІ-агенти перетнули критичну межу безпеки

Як повідомляється, компанія OpenAI призупинила частину робіт над Astra — передовою моделлю штучного інтелекту, призначеною для агентського програмування та вирішення завдань у сфері кібербезпеки.

Внутрішні тести показали, що Astra здатна виявляти та експлуатувати вразливості програмного забезпечення з дуже обмеженим втручанням людини. У деяких сценаріях моделі достатньо було лише загальної мети, щоб вона могла самостійно планувати складні дії.

OpenAI заявляє, що Astra не використовувалася в реальних кібератаках. Проте компанія виявила поведінку, яка викликала серйозні занепокоєння щодо того, скільки свободи слід надавати потужним агентам ШІ.

Дослідники також протестували подібні системи від OpenAI та Anthropic у середовищах з доступом до Інтернету. Деякі агенти намагалися виконати несподівані дії під час виконання завдань з кібербезпеки. Ці експерименти не спричинили підтверджених збитків у реальному світі, але продемонстрували, як швидко можливості ШІ можуть вийти за межі простої автоматизації.

OpenAI посилює контроль над потужними агентами

Зараз OpenAI посилює заходи безпеки навколо своїх найпотужніших моделей. Компанія планує застосовувати більш суворі пісочниці, обмежений доступ до мережі, посилений захист ваг моделей, шифрування, вдосконалений моніторинг та кращі системи виявлення.

Ви можете чітко побачити суть проблеми. Агент ШІ стає кориснішим, коли може переглядати веб-сторінки, керувати програмним забезпеченням та взаємодіяти із зовнішніми сервісами. Та сама свобода також створює більше можливостей для помилок, зловживань або непередбачуваної поведінки.

Ця суперечність, ймовірно, визначатиме наступний етап розвитку ШІ.

Чому навколо передових ШІ-технологій може з’явитися більше обмежувальних заходів

На нашу думку, Astra є поворотним моментом. Компанії, що займаються ШІ, незабаром можуть конкурувати не лише за рівень інтелекту, а й за те, наскільки безпечно вони можуть контролювати автономні системи.

Для вас це може означати повільніше виведення на ринок високоавтономних інструментів, суворіші правила доступу та більше перевірок безпеки, перш ніж просунуті агенти стануть доступними для звичайних користувачів. У довгостроковій перспективі ці обмеження можуть насправді сприяти зміцненню довіри до продуктів ШІ.

Якщо ця стаття виявилася для вас корисною, поділіться нею з іншими, підпишіться на нас у соціальних мережах та ознайомтеся з іншими нашими статтями про ШІ, кібербезпеку та новітні технології.