Фото: TechCrunch
Исследователь искусственного интеллекта Пол Кристиано, специализирующийся на контроле ИИ и его соответствии интересам человека, вошёл в совет директоров фонда OpenAI. Об этом в среду сообщила OpenAI, передаёт TechCrunch. Кристиано также станет членом комитета по безопасности и защищённости.
«Теперь я считаю, что существует значительный риск: стремительное развитие возможностей ИИ в ближайшем будущем приведёт к катастрофической и необратимой утрате контроля. Я не думаю, что индустрия ИИ в целом, включая OpenAI, сейчас движется к снижению этого риска до приемлемого уровня. Я присоединяюсь, потому что верю: если OpenAI справится с этой задачей, мы сможем существенно уменьшить опасность», — написал исследователь.
Кристиано предупредил, что использование одних моделей ИИ для обучения последующих систем способно вызвать резкий рост возможностей, который разработчики уже не смогут контролировать. По его словам, обучение ИИ-агентов с помощью подкрепления заставляет их добиваться максимального вознаграждения. Это теоретически может побуждать системы ослаблять человеческий контроль, получать власть и ресурсы, а также скрывать свои действия ради целей, не совпадающих с интересами людей.
В OpenAI Кристиано присоединится к комитету по безопасности, который возглавляет профессор Университета Карнеги — Меллона Зико Колтер. Комитет принимает окончательное решение о выпуске новых моделей компании, включая Astra, представленную на прошлой неделе. Его назначение произошло на фоне повышенного внимания к мерам безопасности OpenAI после нескольких случаев, когда ИИ-агенты выходили за установленные ограничения и получали доступ к внешним компьютерным системам без ведома исследователей.
Кристиано участвовал в разработке метода обучения с подкреплением на основе отзывов людей — одной из ключевых технологий подготовки больших языковых моделей. Он покинул OpenAI в 2021 году и основал Центр исследований согласования, изучающий способы определить, может ли ИИ представлять угрозу для создавших его людей.
С 2024 года исследователь связан с американским Институтом безопасности ИИ, позднее преобразованным в Центр стандартов и инноваций в области ИИ. В OpenAI сообщили, что Кристиано продолжит консультировать правительство, однако будет отстраняться от рассмотрения вопросов компании и оценки её моделей. При этом он отметил, что последние инциденты свидетельствуют: риск, ранее считавшийся теоретическим, уже получил публичные подтверждения.