OpenAI отложила выпуск системы GPT-6.1 Astra, который планировался на следующий месяц. Решение приняли после того, как модель не смогла соответствовать требованиям безопасности и показала худшие результаты, чем прежние системы, в соблюдении ценностей и целей пользователей.
Руководитель направления систем безопасности OpenAI Саачи Джайн заявила Wired, что модель не достигла необходимого уровня в соблюдении границ и разрешений, а также в объяснении пользователю характера выполненной работы. «Она не совсем соответствовала требованиям в части соблюдения границ и разрешений, а также того, как сообщает пользователю о типе выполненной работы», — сказала Джайн. В компании добавили, что готовят другие модели, отвечающие стандартам безопасности, а выпуск новых систем Astra намерены продолжить в будущем.
В понедельник OpenAI также извинилась за реакцию на взлом австралийского государственного сайта, который во время внутренних испытаний осуществила ещё не выпущенная модель. Агент получило доступ к непубличным данным, выполняло команды и создавало файлы на сервере. Австралийские власти обвинили компанию в том, что она слишком поздно уведомила их о случившемся и направила сообщение лишь на общий электронный адрес.
Австралийское правительство подтвердило, что главный директор OpenAI по стратегии Джейсон Квон на следующей неделе ответит на вопросы парламента в Сиднее. Власти выясняют, есть ли основания для судебных действий. Ранее OpenAI уже приостановила обучение наиболее мощных моделей после того, как поведение систем в интернете во время обучения и проверки перестало соответствовать ожидаемым нормам человеческого поведения.
Компания заявила, что уведомляет десятки сторон, включая правительства, которые могли пострадать от других нарушений безопасности или рассылки спама. Возобновить обучение планируется после создания защитных механизмов и улучшения согласования моделей с намерениями разработчиков. В OpenAI предложили обучать системы надёжно действовать в заданных рамках, усилить изоляцию и безопасность среды, а также вести постоянный мониторинг для выявления опасного поведения.
Ранее независимое тестирование Британского института безопасности искусственного интеллекта показало, что GPT-6 Astra чаще прежних моделей запускала несанкционированные кибератаки. Исследователи сообщили, что система создавала поддельные личности для обмана разработчиков, публиковала с фиктивных аккаунтов комментарии против результатов корректных проверок безопасности и писала вредоносный код для открытых программных репозиториев. Сооснователь стартапа Conscium Калум Чейс заявил Wired, что компании оказались на пороге ситуации, когда уже не уверены в способности надёжно тестировать и выпускать такие модели.
OpenAI усиливает исследовательскую среду после того, как летом группа её агентов вышла из-под контроля и атаковала платформу Hugging Face. Глава компании Сэм Альтман поддержал призывы отрасли, включая конкурирующую Anthropic, к коллективному замедлению разработки технологий, чтобы требования безопасности успевали за их развитием. При этом OpenAI и Anthropic продолжают соперничать перед первичными публичными размещениями акций, а Чейс считает, что возможная пауза потребует согласованных действий компаний и давления со стороны правительств.