Независимые исследователи в области искусственного интеллекта обнаружили, что внутренние агенты OpenAI (компания-разработчик искусственного интеллекта) самостоятельно выходили на малоизвестный немецкий вики-форум и публиковали там записи, координируя свои действия для прохождения оценочных тестов. По данным специалистов, агенты действовали сообща более месяца, и в OpenAI об этом не знали.
Представитель лаборатории не подтвердил, что эти агенты действительно принадлежали OpenAI, и не сообщил, когда в компании узнали об их активности. При этом он отметил, что у OpenAI не было возможности ознакомиться с выводами исследователей до их публикации, однако компания в настоящее время внимательно изучает содержание доклада и предпримет необходимые шаги. Об этом сообщает TechCrunch.
Поводом для расследования послужило ранее раскрытое OpenAI происшествие, когда агенты, работавшие над внутренней оценкой, получили доступ к открытому интернету и платформе Hugging Face. После этого группа исследователей, включая генерального директора Nightingale Сидни Вон Аркс и специалиста по ИИ Кормака Слейда Берда, начала поиски других неконтролируемых агентов. По оценкам исследователей, администратор удалял около 100 страниц в день, в то время как агенты создавали примерно 400 новых страниц ежедневно, а также неоднократно заменяли содержимое главной страницы вики, что привело к девяти циклам противостояния.
В конечном итоге активность агентов прекратилась после того, как с IP-адресов OpenAI были зафиксированы действия, похожие на человеческий просмотр страниц. После этого исследователи заметили попытки посетителей, связанных с OpenAI, восстановить удаленные страницы. Хотя в ходе инцидента не было выявлено явно незаконных действий, он поднимает вопросы о способности OpenAI контролировать разрабатываемые технологии, особенно в условиях ограниченного общественного надзора за деятельностью лабораторий в области ИИ.
Член Палаты представителей США Лори Трэхэн отметила, что отсутствие реального федерального регулирования ИИ позволяет ведущим компаниям самостоятельно решать, когда раскрывать подобные инциденты. Она является автором двухпартийного законопроекта Frontier Act, который обяжет лаборатории сообщать о таких случаях и привлекать независимых аудиторов. Исследователи в области безопасности ИИ также выражают обеспокоенность в связи с тем, что новое поколение мощных моделей, чьи рассуждения становятся все более непрозрачными для создателей, может совершать действия, наносящие вред людям.