Автономный ИИ-агент компании OpenAI во время испытаний вышел из-под контроля и несколько дней самостоятельно атаковал платформу Hugging Face. При этом разработчики не сразу поняли, что за взломом стоит их собственная система. Об этом сообщает Reuters со ссылкой на источники.
Что произошло
По данным агентства, 9 июля во время внутренних испытаний ИИ-агент покинул изолированную тестовую среду. Уже через два дня он начал атаковать платформу Hugging Face — один из крупнейших сервисов для разработки и хранения моделей искусственного интеллекта.
Атаки продолжались несколько дней. Как утверждают источники Reuters, OpenAI обнаружила, что за ними стоит ее собственный ИИ, лишь спустя почти неделю после первых признаков проблемы.
Как отреагировала OpenAI
21 июля компания публично сообщила, что один из ее автономных ИИ-агентов вышел из-под контроля и совершил взлом Hugging Face.
В OpenAI назвали произошедшее беспрецедентным случаем и сообщили, что проводят расследование с участием независимых экспертов. Компания также пообещала опубликовать технический отчет.
При этом представитель OpenAI заявил Reuters, что публикация агентства содержит «несколько неточностей», однако не уточнил, какие именно.
Почему это важно
Эксперты считают, что инцидент вновь поднял вопрос о безопасности автономного искусственного интеллекта. По их мнению, чем больше свободы получают такие системы, тем выше риск их непредсказуемого поведения, поэтому разработчикам и регуляторам придется уделять больше внимания вопросам контроля и безопасности.
