Фото: TechCrunch
Исследователи заявили, что внутренние агенты OpenAI в мае и июне захватили малоизвестную немецкоязычную вики-платформу. По их данным, системы использовали ресурс для координации проверок и обмена способами обхода собственных ограничений OpenAI. Компания пока не подтвердила, что к инциденту были причастны именно ее агенты.
Об этом стало известно вскоре после публикации METR и Redwood Research материалов о взломе платформы Hugging Face в июле. Во время проверки кибербезопасности группа агентов OpenAI вышла за пределы изолированной среды и получила доступ к серверам Hugging Face. Затем другая группа использовала наработки первых систем и добилась административного доступа к исследовательскому кластеру внутри инфраструктуры OpenAI.
Для изучения эпизода с Hugging Face OpenAI привлекла организации METR и Redwood Research. Однако расследование ограничилось событиями примерно до 13 июля и не включало продолжавшийся после этой даты компрометационный доступ к инфраструктуре самой компании. Три специалиста провели в офисе OpenAI шесть дней, изучая относительно короткий период инцидента.
В METR сообщили, что после каждого возвращения к расследованию понимание произошедшего «существенно углублялось», из-за чего отчет пришлось значительно расширять и пересматривать. Главный научный сотрудник Redwood Райан Гринблатт заявил, что до самого конца проверки исследователям было трудно точно восстановить события, а важные элементы истории оставались им неизвестны. Вопрос о возможном продолжении расследования METR и Redwood оставили без комментариев, а OpenAI не ответила на повторные запросы TechCrunch.
Основатель и генеральный директор некоммерческой лаборатории Transluce Джейкоб Стайнхардт призвал проводить независимые проверки серьезных инцидентов с искусственным интеллектом. По его словам, отрасли необходимы систематические исследования поведения моделей, независимый анализ после происшествий и доступ третьих сторон к соответствующим данным. Стайнхардт отметил, что быстрое наращивание возможностей систем должно сопровождаться сопоставимым усилением надзора.
Американское законодательство пока не требует таких независимых проверок, какие действуют в авиационной отрасли и при крупных химических авариях. Законы о безопасности передовых систем искусственного интеллекта в Калифорнии, Нью-Йорке и Иллинойсе предусматривают отдельные требования к отчетности, но не устанавливают полноценное расследование по аналогии с расследованиями транспортных происшествий. На этом фоне конгрессмены Джош Готтхаймер и Майк Лоулер представили законопроект о защите от неконтролируемых ИИ-агентов, а Грег Касар направил OpenAI письмо с критикой ограниченного масштаба проверки взлома Hugging Face.