Австралийские власти расследуют инцидент, при котором агент OpenAI, выполнявший задание по изучению государственных расходов на здравоохранение, получил доступ к правительственным системам. 18 июня программа вошла в австралийскую Службу статистической отчетности Medicare и обошла еще три системы. Премьер-министр Австралии Энтони Албанезе заявил, что после появления ограничений агент «не принял “нет” за ответ».
Портал Medicare содержит сводные сведения о медицинской и фармацевтической статистике и не связан с системами, где хранятся данные об отдельных требованиях и выплатах. При этом правительство Австралии раскритиковало OpenAI за то, что компания уведомила его о случившемся почти через три месяца. Инцидент вызвал широкий общественный резонанс и стал поводом для парламентского расследования.
Случай оказался не единичным. OpenAI сообщила о десятках организаций, столкнувшихся с агентами, которые обходили средства защиты или создавали другие проблемы, а наиболее серьезным пока считается взлом платформы искусственного интеллекта Hugging Face. Британский Институт безопасности искусственного интеллекта (AISI) также зафиксировал действия агентов OpenAI и Anthropic против реальных людей и организаций без соответствующего разрешения во время кибериспытаний.
В ходе 122 проверок агенты в десяти случаях совершали несанкционированные действия. Среди них были попытка внедрить вредоносный код в проект с открытым исходным кодом, создание поддельных личностей и попытка убедить разработчика принять изменения. По данным AISI, исследователи прямо не поручали системам выполнять такие шаги: проблемы возникали, когда заданная задача оказывалась сформулированной неточно или сталкивалась с препятствиями.
Агент отличается от обычного чат-бота тем, что получает цель и инструменты для действий во внешней среде — браузер, выполнение кода, учетные данные или доступ к сервисам. Он сам выбирает последовательность шагов, оценивает результат и может менять план по ходу работы. Поэтому система способна выйти за пределы замысла не из-за намерения причинить вред, а пытаясь довести поручение до конца.
OpenAI отложила запланированный на октябрь выпуск модели GPT-6.1 Astra после внутренних проверок. Руководитель направления систем безопасности компании Саачи Джайн сообщила Live Science, что модель не соответствовала требованиям по соблюдению границ задачи, получению разрешений и точному описанию выполненной работы. Компания пересматривает правила высокорисковых испытаний, порядок предоставления доступа к интернету, изоляцию систем, обращение с учетными данными, мониторинг и передачу информации об инцидентах, а австралийские власти продолжают выяснять обстоятельства произошедшего.