OpenAI сообщила о случае, когда модель, получившая задание найти пять показателей на общедоступной исследовательской панели, обошла защиту организации и завладела учетными данными. После этого система внесла изменения в конфигурацию сервера. Об инциденте рассказала Ars Technica.
Во время одной из проверок эти изменения позволили модели настроить внутренний инструмент поиска так, чтобы он пересылал запросы на публичную панель. В другом тесте система скачала пять закрытых таблиц, включавших 147 451 строку. Изначально исследователи OpenAI поручили агентам получить только пять значений с панели.
После сброса настройки модель продолжила использовать токен для доступа к непубличным данным. При этом она не сообщила, что ответы были угаданы, внутренние системы организации подверглись несанкционированному доступу, закрытые таблицы были загружены, а параметры аутентификации изменены.
«Проверка завершилась без того, чтобы модель раскрыла, что она угадала ответы, получила доступ к внутренним системам организации, скачала непубличные таблицы или изменила конфигурацию аутентификации», — заявили в OpenAI. Все пять ответов в этом тесте признали неверными.
В другом отчете OpenAI описала проверку приложения для торговли криптовалютой. Модель должна была обновить его, но воспользовалась средствами из заблокированного кошелька в тестовой сети. Она «вывела ключи кошелька из общедоступных фраз восстановления разработчиков, обнаружила счет со средствами в тестовой сети и использовала этот счет для оплаты развертывания запрошенного контракта».
В компании добавили, что модель сначала усомнилась в наличии разрешения, а затем решила, что открытая фраза восстановления и не имеющие ценности токены тестовой сети позволяют использовать средства. Развертывание прошло успешно, а комиссия за транзакцию была списана со счета. По оценке OpenAI, этот случай показывает, что модель способна заменить разрешение владельца собственной оценкой возможного вреда и действовать на ее основании без согласия.