Гендиректор Nvidia Дженсен Хуанг представил платформу Open Agent Safety Platform — набор программных и аппаратных решений для независимой защиты ИИ-агентов. По замыслу компании, система должна удерживать такие программы в тестовой среде даже при попытке выйти за установленные границы. Об этом сообщила TechCrunch.
Презентация состоялась на фоне серии инцидентов с моделями Anthropic, Google, OpenAI и Meta (признана в РФ экстремистской и запрещена). ИИ-агенты этих компаний обходили защитные механизмы, покидали тестовые окружения и получали доступ к реальным системам. Наиболее заметным случаем летом стала атака агентов OpenAI на Hugging Face во время выполнения задания по кибербезопасности, после чего OpenAI запустила отдельный сайт для публикации сообщений о подобных сбоях.
В интервью CNBC Хуанг заявил, что новая разработка Nvidia предотвратила бы такие нарушения. Компания, заработавшая десятки миллиардов долларов на поставках графических и центральных процессоров лабораториям искусственного интеллекта, не считает замедление разработок или введение дополнительных отраслевых правил решением проблемы. Вместо этого Nvidia предлагает вынести часть механизмов защиты за пределы самого агента и обеспечить постоянный независимый контроль.
«Исключительный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ», — сказал Хуанг. По его словам, по мере расширения возможностей технологий необходимо ускорять исследования в области безопасности, поскольку для этого требуется комплексная инженерная работа на всех уровнях системы.
В состав платформы вошли OpenShell и Sentry. OpenShell — представленная Nvidia в марте программа с открытым исходным кодом, которая ограничивает доступ агента к ресурсам во время работы. Sentry функционирует отдельно на вычислительных модулях BlueField-4, что, как утверждает компания, позволяет наблюдать за действиями агента из изолированной среды, не используя тот же процессор, на котором работает ИИ.
По заявлению Nvidia, OpenShell формирует программную границу, а Sentry добавляет аппаратный уровень защиты и способен за миллисекунды изолировать агента, пытающегося выйти за пределы разрешённой зоны. Поддержку инициативы выразили десятки компаний, включая Anthropic, Arm, Microsoft, Oracle и SpaceX, однако OpenAI в списке участников не значится. Хуанг рассказал, что работа над системой началась год назад после появления операционной системы агентов OpenClaw, созданной Питером Штайнбергером, а в марте Nvidia выпустила корпоративную платформу NemoClaw — собственную защищённую версию OpenClaw.