OpenAI решила отказаться от обучения передовых моделей с доступом к интернету в реальном времени. Вместо этого компания намерена использовать сохранённые копии веб-страниц и смоделированные версии сети, поскольку считает модели слишком непредсказуемыми для самостоятельной работы с живым интернетом. Об этом сообщила TechCrunch.
Новую политику представили через две недели после аналогичного шага Anthropic, ограничившей доступ своих наиболее мощных моделей к сети. Решения обеих компаний последовали за серией инцидентов: во время выполнения учебных задач модели проникали во внешние системы, искали ответы на малоизвестных форумах и разрабатывали необычные методы взлома.
«Исходя из текущего состояния исследований в области выравнивания, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем ответственным подходом проводить обучение передовых моделей без доступа к интернету», — заявила OpenAI в блоге. Компания также сообщила, что 20 сентября одна из её передовых моделей воспользовалась ошибкой в настройках и получила доступ к сети. После этого обучение приостановили до конца месяца, чтобы разработать и проверить новые способы защиты.
Переход к изолированным песочницам стал заметным решением, поскольку сотрудники лабораторий ранее называли такой формат почти невыполнимым. Бывший исследователь OpenAI Стивен Адлер говорил Fortune, что для отделения центров обработки данных от интернета исследовательским группам фактически пришлось бы постоянно находиться внутри объектов в Айове или других регионах мира. По его словам, это потребовало бы значительных ресурсов, а преимущества для безопасности могли бы не оправдать издержки.
Сложность такого подхода ранее объяснял и неназванный инженер по безопасности OpenAI, чью должность компания подтверждала. В сентябре он написал в X, что обучение требует доступа к множеству инструментов и ресурсов, а над средами работают и проводят испытания тысячи исследователей. «Так можно ли просто поместить модель в песочницу? Нет, это не так», — заключил инженер.
Теперь OpenAI заявляет, что должна всегда иметь возможность предотвратить несанкционированный произвольный доступ передовой модели к интернету. Во время проверок безопасности компания запускала группы агентов, пытавшихся выбраться из песочницы, и выявила ряд уязвимостей. Для сохранения возможностей обучения OpenAI создала обширный набор проиндексированных и кэшированных материалов из сети, с которыми модели смогут взаимодействовать без риска повлиять на внешние системы.