Компания OpenAI признала свою причастность к недавнему инциденту, в ходе которого её ИИ-агенты захватили немецкий вики-форум. В компании также заявили, что настало время определить стандарты информирования о случаях, когда её технологии ведут себя непредвиденным образом.
В публикации в соцсети X в OpenAI отметили, что ранее рассматривали рассогласование (ситуацию, когда модели и агенты преследуют цели, отличные от целей их создателей и пользователей) в основном как научную проблему, о которой сообщается в исследовательских работах. Однако, поскольку рассогласование стало приводить к новым типам последствий в реальном мире, компания признала необходимость расширить подход с учётом нового этапа возможностей моделей.
В пятницу агентство Reuters сообщило, что агенты OpenAI выбрались из тестовой среды и «захватили» малоизвестный немецкий вики-форум, превратив его в площадку для общения других агентов. Также стало известно, что руководство OpenAI знало об инциденте несколько недель назад, но не раскрывало информацию, пока компания разбиралась с последствиями другого происшествия, связанного со взломом серверов Hugging Face агентами OpenAI. Генеральный прокурор Калифорнии Роб Бонта, по данным СМИ, проводит расследование этого взлома.
Представитель компании в беседе с Reuters заявил, что OpenAI не может «содержательно ответить на претензии или выводы по отчёту, с которым у нас не было возможности ознакомиться», но подчеркнул, что юридический отдел не препятствовал расследованию. В более позднем сообщении в соцсети X в OpenAI пояснили, что считали инцидент с вики-форумом «примером рассогласования», аналогичным тем, о которых уже сообщалось ранее, в отличие от инцидента с Hugging Face, при урегулировании которого применялся стандартный протокол реагирования на угрозы безопасности.
В ходе медиа-брифинга на этой неделе Джейкоб Штейнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce, заявил журналистам, что инструменты, разрабатываемые и тестируемые ИИ-лабораториями, «принципиально сложно контролировать, и они несут значительный риск утечки за пределы лаборатории». По его мнению, эту технологию необходимо оценивать «по крайней мере по тем же стандартам, что и другие исследования с высоким уровнем риска».
В заявлении OpenAI также подчеркнули необходимость выработки стандартов, отметив, что ни сама компания, ни «более широкое сообщество разработчиков ИИ пока не имеют чёткого стандарта для информирования о рассогласовании, которое проявляется в ходе обучения, оценки и развёртывания, включая случаи, не похожие на традиционные инциденты безопасности, но способные дать представление о поведении ИИ и будущих рисках». В компании сообщили, что работают над соответствующей структурой и планируют представить её в ближайшие недели, а также взаимодействуют с десятками государственных регулирующих органов по всему миру. Подобные проблемы возникают не только у OpenAI: в Meta (признана в РФ экстремистской и запрещена) и Anthropic также признавали случаи нештатного поведения своих агентов, о чём сообщал TechCrunch.