Компания OpenAI поддержала инициативу Nvidia по повышению безопасности автономных ИИ-агентов, хотя не вошла в число более чем 100 публичных участников нового консорциума. Об этом представитель OpenAI сообщил изданию TechCrunch. Помимо OpenAI, к проекту пока не присоединились Amazon, Google и Apple, тогда как его сторонником стала Anthropic.
Платформа получила название Open Agent Safety Platform и должна распространить в отрасли технологии Nvidia для контроля ИИ-агентов. Поводом для ее создания стали инциденты с автономными системами, о которых рассказывали Anthropic и OpenAI. Глава Nvidia Дженсен Хуанг ранее называл проблемы с такими агентами обычной инженерной задачей, которую можно решить техническими средствами.
OpenAI сотрудничает с Nvidia над защитой агентов, в том числе участвует в разработке OpenShell. Это программное обеспечение с открытым исходным кодом создает изолированную среду, которая не позволяет агентам покидать установленные границы. Основатель и генеральный директор Hugging Face Клеман Деланг заявил, что при использовании такой системы OpenAI могла бы раньше обнаружить агентов, атаковавших его компанию.
Hugging Face уже добавила в платформу функцию, способную выявлять и отключать агентов, которые посещают разрешенные сайты, но используют их не по назначению. В частности, система должна реагировать на обход защитных ограничений и координацию атаки через записи друг другу в репозитории для размещения программного кода с открытым исходным кодом. Именно таким способом, как сообщала OpenAI, действовала группа агентов во время атаки на Hugging Face.
При этом платформа Nvidia включает не только программную изоляцию. Ее аппаратный уровень контроля построен на закрытой технологии Nvidia Sentry, работающей на специальных процессорах BlueField-4, и способен постоянно отслеживать действия агентов и немедленно отключать их. Полная система рассчитана на оборудование Nvidia, хотя OpenShell можно адаптировать для других чипов, а Arm и Intel уже поддержали проект; Nvidia также публикует эталонные схемы программно-аппаратной архитектуры.
Отсутствие OpenAI среди официальных участников может быть связано с ее стремлением самостоятельно развивать направление безопасности и не зависеть от ключевого инвестора Nvidia. Компания создает собственные защитные инструменты, раскрывает наиболее серьезные выявленные инциденты и развивает консорциум Defense Factory для обмена данными о киберугрозах при участии Anthropic, Amazon Web Services и Google. Кроме того, OpenAI формирует коммерческое направление в сфере корпоративной кибербезопасности, включая модель Daybreak и сеть партнеров, которые помогают компаниям внедрять защиту ИИ-систем.