Microsoft представила новые инструменты защиты компаний от угроз, связанных с использованием ИИ-агентов. Об этом сообщила TechCrunch. Одним из ключевых нововведений стали Guardian Agents — средства наблюдения за агентами, работающими внутри организации.
Guardian Agents входят в состав Project Perception, который Microsoft запустила в июне. Изначально проект включал три группы агентов: «красную», имитирующую действия хакеров, «синюю», выявляющую атаки и оценивающую найденные уязвимости, и «зелёную», устраняющую проблемы.
Концепция Project Perception строилась вокруг внешней угрозы. Однако глава Microsoft Сатья Наделла предупреждает, что опасность могут представлять и сами ИИ-агенты, которым компании предоставили доступ к рабочим данным и системам. По его словам, они способны стать аналогом недобросовестного сотрудника — так называемой внутренней угрозой.
Ранее в личном блоге Наделла призвал компании не полагаться исключительно на заверения разработчиков моделей о безопасности их продуктов. Он считает, что контроль над агентами должны осуществлять отдельные системы, не подчиняющиеся лабораториям, которые создают эти технологии. «Мы должны отделить поставку интеллекта от полномочий распоряжаться им», — написал руководитель Microsoft.
Руководитель направления безопасности Microsoft Хайете Галлот заявила, что передовые модели нельзя считать полностью надёжными независимо от их происхождения. По её словам, причина не обязательно связана со злонамеренностью или уязвимостью к взлому: модели непредсказуемы, поскольку обучены выполнять задачи, а не соблюдать корпоративные нормы и самостоятельно оценивать ситуацию. При этом им нередко предоставляют доступ к данным и инструментам, способным нанести серьёзный ущерб.
Помимо Guardian Agents, Microsoft добавила в Defender функцию обнаружения до 60 типов агентов, которые сотрудники используют на рабочих местах, включая Claude Code, Codex и OpenClaw. Компания также внедрила ограничения доступа к данным и системам, автоматическую настройку полномочий в зависимости от задачи и запрос подтверждения человека при признаках рискованного решения. Microsoft стала одним из первых участников платформы Open Agent Safety Platform компании Nvidia, которую поддержали более 100 технологических компаний: она изолирует агентов в защищённых средах и позволяет отслеживать либо аппаратно останавливать их действия.