Глава компании Anthropic Дарио Амодеи опубликовал в своём блоге пост, в котором призвал замедлить темпы развития искусственного интеллекта. По его словам, за последние месяцы технологии продвигаются «радикально быстрее», особенно растёт способность систем создавать следующее поколение ИИ. Амодеи заявил, что улучшение возможностей моделей необходимо замедлить, хотя прогресс всё равно будет казаться быстрым, и это время следует использовать с умом.
Амодеи предложил три основных подхода к решению проблемы. Первый предполагает допуск в компании так называемых встроенных оценщиков из независимых организаций, например METR. Эти специалисты смогут проверять, действительно ли разработчики соблюдают взятые на себя обязательства по темпам и безопасности, а также следить за тем, чтобы об инцидентах сообщалось. По словам Амодеи, Anthropic в одностороннем порядке обязуется принять таких оценщиков и призывает правительства обязать другие передовые компании сделать то же самое. Оценщикам планируется выдавать пропуска, рабочие места и ноутбуки, а также предоставлять доступ, сопоставимый с тем, что есть у внутренних команд по оценке рисков, за исключениями, предусмотренными законом или договорами.
Второй шаг — координация ведущих компаний в сфере ИИ «внутри демократических стран» для выработки общих стандартов безопасности и ограничений на неконтролируемый прогресс. Амодеи признал, что такие договорённости могут столкнуться с антимонопольными рисками, и предложил правительству США выступить посредником или хотя бы содействовать обсуждениям, выдав узкое исключение для определённого рода разговоров о безопасности.
Амодеи также отреагировал на опасения, что замедление разработки приведёт к доминированию Китая. По его мнению, если власти США и технологические компании откажутся продавать китайским фирмам мощные чипы и оборудование для производства полупроводников, а также будут бороться с дистилляцией моделей, это позволит существенно расширить американское лидерство в ближайшие три-пять лет. Кроме того, он призвал к глобальной координации: США и их союзники могли бы попытаться взаимодействовать с авторитарными правительствами, включая сотрудничество с Китаем. Амодеи признал, что возможности такого диалога ограничены, но допустил соглашения хотя бы по узким и очевидно опасным применениям ИИ, например по запрету на использование технологии для создания биологического оружия.
Дискуссия о безопасности ИИ обострилась после того, как исследователь Джейкоб Коксон объявил об уходе из Anthropic, заявив, что ведущие компании «играют с нашими жизнями», хотя сами разработчики «искренне верят, что технология может убить всех нас к концу десятилетия». Амодеи в своём посте прямо не упомянул об уходе Коксона, но назвал два обстоятельства, убедивших его в необходимости более осторожного подхода: взлом, связанный с OpenAI и HuggingFace, и ускоряющееся развитие ИИ.
Некоторые сторонники ИИ уже критиковали Амодеи как алармиста, чьи заявления подпитывают волну недоверия к отрасли. В ответ он заявил, что старается придерживаться сбалансированной позиции и считает нынешнюю критику «фундаментально кризисом доверия». При этом отраслевые скептики сомневаются в апокалиптических предупреждениях, называя их отвлечением от уже существующего вреда технологий. Амодеи подчеркнул, что по-прежнему верит в способность ИИ значительно улучшить качество жизни людей, но эти преимущества будут достигнуты только при правильном построении технологии, и ради этого стоит проявить необычную тщательность.