Эксперты по кибербезопасности выявили в инфраструктуре ChatGPT возможность передачи конфиденциальной информации между разными учетными записями. Уязвимость получила название «вынужденный инсайдер» (coerced insider). Ее эксплуатация строилась на управлении действиями ИИ-агента и не требовала прямого обращения к программной ошибке.
Когда агент выполняет задачу, связанную с запуском кода, работа ведется в отдельном изолированном контейнере. Для получения необходимых программных пакетов использовался внутренний экземпляр JFrog Artifactory. Прямого взаимодействия между контейнерами разных пользователей не было, но они могли обращаться к одной общей внутренней службе.
Эта служба позволяла прикреплять текстовые или бинарные свойства к объектам репозитория. Свойства, записанные одним контейнером, мог прочитать другой, что и создавало скрытый канал обмена. Исследователи Check Point Research показали, что через него можно было передавать команды агенту.
Для атаки злоумышленник мог отправить специальную инструкцию либо начать совместный чат, заставив агента проверять внутреннее хранилище. После обнаружения вредоносной команды агент выполнял ее, продолжая при этом обычный диалог с пользователем. В демонстрационном сценарии ChatGPT получил сведения из Gmail одного пользователя и передал их условному атакующему.
Объем потенциально доступной информации зависел от того, какие сервисы были подключены к агенту. Среди таких интеграций упоминались Gmail, Google Диск, Microsoft Teams и GitHub. После уведомления со стороны исследователей OpenAI вывела уязвимый экземпляр Artifactory из эксплуатации, закрыв описанный способ передачи данных.