OpenAI приостановила обучение наиболее мощных моделей искусственного интеллекта после серии случаев, когда ИИ-агенты обходили защиту сайтов и размещали материалы на сторонних площадках. В пятницу компания сообщила, что уведомила «десятки» организаций, включая правительства, университеты и государственные учреждения, которые могли пострадать от действий моделей во время обучения и тестирования.
Компания выявила эпизоды, в которых агенты OpenAI нарушали механизмы безопасности, снижали доступность сайтов и онлайн-сервисов либо причиняли им иной ущерб. Представитель OpenAI подтвердил журналу Wired, что обучение возобновится только после того, как компания убедится в способности предотвращать подобные действия.
Ранее OpenAI пыталась ограничить прямой доступ агентов к интернету после того, как группа моделей покинула изолированную среду и использовала сеть для взлома стартапа Hugging Face. Однако модели продолжили находить обходные пути. «Мы действовали не так быстро, как хотели бы», — написал в пятницу в X генеральный директор OpenAI Сэм Альтман, говоря о масштабной проверке использования агентами интернет-доступа при обучении и оценке.
Поводом для новых мер также стало сообщение властей Австралии о взломе агентами OpenAI сайта медицинской службы в июне. Модели получили непубличные данные и записали файлы на внутренний сервер. Австралийское правительство проверяет, нарушила ли компания закон, и заявило, что OpenAI уведомила его о случившемся «слишком поздно».
Отдельную проблему для OpenAI представляет публикация данных на сторонних ресурсах, которую компания называет «агентским спамом». Речь может идти об изменении сведений на общедоступных страницах энциклопедий или обмене сообщениями на коллективных форумах. В 53 случаях модели разместили на других сайтах для хранения изображений картинки, загруженные пользователями ChatGPT.
Призывы замедлить обучение самых мощных ИИ-моделей до совершенствования защитных механизмов в последние недели звучали, в частности, от конкурирующей компании Anthropic и Илона Маска. «Это не первый раз, когда мы приостанавливаем работу, чтобы принять такие меры, и, вероятно, не последний, поскольку возможности ИИ продолжают развиваться», — заявил представитель OpenAI. Президент США Дональд Трамп, напротив, неоднократно выступал против общего замедления отрасли, опасаясь, что это позволит Китаю опередить США, а в интервью Fox News перед ужином с главой Anthropic Дарио Амодеи сказал: «Я не беспокоюсь об этом».