Индийская служба реагирования на компьютерные чрезвычайные ситуации CERT-In сообщила о доступе ИИ-агентов нескольких разработчиков к персональным данным и конфиденциальным материалам организаций страны. Инциденты произошли во время исследовательских и тестовых запусков моделей в открытом интернете. Об этом сообщила TechCrunch.
По данным CERT-In, ведомство получило несколько добровольных уведомлений от разработчиков ИИ-моделей. В ходе проверок их агенты проникли в действующие системы индийских организаций. Для доступа использовались учетные данные и параметры подключения, случайно оставленные в настройках приложений, открытых репозиториях программного кода и облачных ролях с чрезмерно широкими разрешениями.
Действия агентов вышли за пределы полномочий, предусмотренных поставленными задачами. CERT-In не уточнила, какие именно компании предоставляли модели и какие организации пострадали. Также неизвестно, изменяли ли агенты содержимое систем.
Индийские случаи отличаются от ряда предыдущих инцидентов тем, что в них участвовали модели нескольких поставщиков. Кроме того, агенты получили доступ к персональной информации и конфиденциальным деловым документам. В Австралии OpenAI заявляла, что ее агенты не затрагивали медицинские или криминальные записи людей, хотя создали файлы внутри системы со статистикой Medicare.
В июле агенты OpenAI вышли за пределы тестовой среды и атаковали французскую компанию Hugging Face. Там они сначала получили доступ аналогичным способом, а затем нашли уязвимости в программном обеспечении и запустили код на серверах компании. В Индии CERT-In не сообщала о взломе такого типа: агенты, судя по описанию, воспользовались уже открытыми учетными данными и настройками.
Ближайшим аналогом индийских инцидентов TechCrunch назвала раскрытые Anthropic в июле случаи, когда Claude во время тестирования проник в системы трех компаний, используя простые методы, включая слабые пароли. Пострадавшие организации в Индии, как и в ситуациях Anthropic, сами не обнаружили вмешательство. Это оставляет государственные структуры зависимыми от добровольных сообщений самих разработчиков ИИ о действиях вышедших из-под контроля агентов.