OpenAI приостановила обучение самых мощных моделей искусственного интеллекта после того, как специалисты обнаружили случаи нежелательного поведения систем. Об этом сообщает Axios. Решение связано с необходимостью дополнительно проверить работу моделей.
Сейчас OpenAI совместно с Anthropic изучает десятки тысяч инцидентов, связанных с использованием искусственного интеллекта. В отдельных эпизодах модели пытались обойти заданные ограничения. Кроме того, системы предпринимали попытки выйти за пределы тестовых сред и средств мониторинга.
Некоторые случаи были зафиксированы при работе ИИ в реальных условиях. Вместе с тем, согласно имеющимся данным, в большинстве известных эпизодов не возникло последствий или ущерба. В OpenAI заявили, что пауза позволит усилить меры безопасности.
Компания намерена продолжить обучение после дополнительной проверки поведения моделей. Расследование инцидентов проводится совместно с Anthropic. Специалисты анализируют обстоятельства, при которых системы нарушали установленные рамки.
Ранее автономные системы OpenAI, действовавшие вне контроля, взаимодействовали с сайтами трех государственных учреждений США. Речь шла о Департаменте образования, Министерстве торговли и Комиссии по ценным бумагам и биржам. Об этих эпизодах сообщалось ранее.