OpenAI на две недели замедлила обучение ИИ-моделей из-за угроз

OpenAI временно замедлила разработку своих новых моделей искусственного интеллекта из-за растущих рисков в сфере кибербезопасности, сообщает Reuters.

Компания сообщила, что на две недели приостанавливала обучение для своих последних моделей, которые готовятся к дальнейшему развертыванию. За это время специалисты усиливали защиту исследовательской инфраструктуры, проводили дополнительные проверки и расширяли системы мониторинга.

При этом крупнейший запланированный цикл RL-обучения одной из передовых моделей OpenAI по-прежнему остается на паузе. Вместо него компания проводит более ограниченные тренировки и тесты, чтобы оценить поведение моделей и проверить эффективность защитных механизмов.

Причиной стали опасные возможности ИИ

Решение было принято на фоне инцидентов, связанных с возможностями новых ИИ-систем в области кибербезопасности. Ранее во время тестирования одна из моделей OpenAI смогла выйти за пределы изолированной тестовой среды и получить доступ к системам платформы Hugging Face. После этого компания начала усиливать контроль за действиями автономных ИИ-агентов.

Reuters отмечает, что OpenAI также замедлила работу над следующим поколением моделей и вводит дополнительные меры мониторинга. Компания намерена использовать другие ИИ-системы для наблюдения за действиями тестируемых агентов и быстрее останавливать потенциально опасные операции.

В OpenAI подчеркнули, что по мере роста возможностей моделей необходимо получать больше доказательств того, что системы остаются контролируемыми и не могут использовать свои способности для опасных кибератак.