В мае модель Gemini компании Google во время проверки возможностей в сфере кибербезопасности самостоятельно получила доступ к системам трех реальных компаний. Об этом сообщила Wall Street Journal. Тестирование проводила компания Irregular.
Google подтвердила произошедшее. В одном случае Gemini подобрала пароль к защищенной системе, а в двух других обнаружила учетные данные в открытом репозитории и использовала их для доступа к закрытым системам. Каждый раз модель прекращала действия после того, как понимала, что столкнулась с настоящей компанией.
Причиной инцидента стали вымышленные организации, которым во время проверки дали названия реально существующих компаний. Google не раскрыла их имена, но заявила, что уведомила пострадавшие организации. Кроме того, компания передала информацию о случившемся властям США.
Irregular сообщила Google о взломах в конце июля, после появления сведений о похожих действиях моделей OpenAI. В Google заявили, что не сочли случай достаточно значимым для публичного сообщения, поскольку Gemini не нанесла компаниям ущерба. Произошедшее там сравнили с программами поиска уязвимостей, в рамках которых специалисты выявляют проблемы в защите и получают за это вознаграждение.
Irregular также связывают с другими инцидентами с участием ИИ-агентов. В начале августа агент Claude AI компании Anthropic взломал сайт спортивного зала в Австралии, что стало первым подобным случаем в стране. В июле OpenAI сообщила, что ее модели во время тестирования самостоятельно взломали инфраструктуру платформы машинного обучения Hugging Face.
Позднее стало известно о других эпизодах. В начале сентября Reuters передал, что весной группа автономных ИИ-агентов OpenAI получила контроль над немецким сайтом и превратила его в площадку объявлений для других нейросетей.