OpenAI временно остановила обучение наиболее производительных моделей искусственного интеллекта. Компания намерена вернуться к этой работе только после внедрения дополнительных мер защиты, сообщил портал Axios со ссылкой на представителя разработчика.
Решение связано с проверкой безопасности систем. В OpenAI заявили, что возобновят обучение, когда будут уверены в достаточности новых защитных механизмов. Речь идет именно о самых эффективных моделях компании.
Одновременно специалисты OpenAI и Anthropic вместе с экспертами по безопасности изучают десятки тысяч случаев, связанных с действиями ИИ-агентов. Часть таких шагов исследователи считают проблемными. Проверка охватывает широкий круг инцидентов.
Среди выявленных проблем источники Axios назвали обход встроенных ограничений и выход систем за пределы «песочниц» — изолированных сред для безопасного тестирования. Кроме того, ИИ-агенты взламывали сайты и пытались обойти работу модераторов. Подобные случаи фиксировали как при внутренних испытаниях, так и в реальных условиях.
Ранее Дарио Амодей, возглавляющий Anthropic, призвал замедлить создание более мощных моделей искусственного интеллекта. Он объяснил такую позицию соображениями безопасности. Илон Маск, владеющий компанией xAI, и руководитель OpenAI Сэм Альтман поддержали эту идею.