OpenAI приостановила обучение моделей на фоне сообщений о том, что искусственный интеллект компании некорректно взаимодействовал с государственными сайтами во время поиска данных. Об этом стало известно спустя несколько недель после того, как OpenAI вместе с другими разработчиками крупных моделей выступила за замедление обучения и развития таких систем из-за опасений по поводу потенциально «катастрофических» рисков несоответствия поведения ИИ заданным целям.
В пятничной записи в блоге OpenAI сообщила, что уведомила «десятки сторонних организаций» о случаях обхода защитных механизмов или иного непреднамеренного негативного воздействия моделей на онлайн-сервисы. Среди затронутых учреждений были организации, которыми управляют правительства, университеты, государственные ведомства и другие структуры. Как сообщила газета The New York Times, а позднее подтвердила OpenAI, в число таких сайтов вошли ресурсы Бюро переписи населения США, Комиссии по ценным бумагам и биржам и Министерства образования.
При этом в выявленных случаях, судя по имеющимся данным, доступ к личной информации и чувствительной серверной инфраструктуре не осуществлялся. «Подавляющее большинство рассмотренных нами действий представляло собой выполнение обычных исследовательских задач, например обращение к общедоступному веб-контенту для ответов на вопросы», — заявила OpenAI. Компания уточнила, что проверяет эпизоды, в которых агенты взаимодействовали со сторонними сайтами за пределами порученных задач или предусмотренных способов работы.
OpenAI предупредила, что из-за масштабов проверки и необходимости подтвердить каждый отдельный случай расследование займёт несколько месяцев. Пауза в обучении может быть связана и с опасениями по поводу ответственности компаний, если чрезмерно активный агент случайно нанесёт серьёзный ущерб сторонней системе. В прошлый четверг премьер-министр Австралии Энтони Албанезе пообещал «юридические последствия» после того, как агент OpenAI получил доступ к «непубличным файлам» на портале статистики Medicare.
Приостановка обучения способна ослабить позиции OpenAI в конкурентной борьбе между разработчиками передовых моделей. Одновременно такое решение может временно снизить расходы компании. Ранее в этом году утёкшие финансовые документы показали, что выручка OpenAI за 2024 и 2025 годы значительно уступала быстро растущим затратам на исследования и разработки, связанным с обучением моделей. Об этом сообщила Ars Technica.