Эксперты по кибербезопасности считают, что лабораториям, разрабатывающим передовые модели искусственного интеллекта, следует прежде всего усилить базовую защиту сетей. Речь идет о журналах событий, разрешениях, ограничении доступа к интернету и постоянном контроле действий ИИ-агентов. Такой подход может оказаться эффективнее, чем ставка только на независимые проверки и оценку соответствия моделей заявленным требованиям безопасности.
Обсуждение усилилось после того, как один из исследователей Anthropic ушел из компании, опасаясь, что ИИ способен привести к исчезновению человечества. Глава Anthropic Дарио Амодеи предложил привлечь внешние организации, которые проверяли бы соблюдение мер безопасности, фиксировали инциденты и оценивали не только готовые модели, но и процессы их обучения. Руководители OpenAI, Google и SpaceXAI поддержали эту инициативу, однако специалисты считают, что она не заменяет надежный внутренний контроль.
«To me, it seems like they’re outsourcing», — заявила TechCrunch Кэти Муссурис, руководитель Luta Security. По ее словам, объявлять аудит третьей стороной решением проблемы так же странно, как если бы Microsoft после публикации меморандума о надежных вычислениях предложила просто замедлить разработку. Документ, подготовленный Биллом Гейтсом в 2002 году, появился после серии атак компьютерных червей на корпоративные системы и призывал сотрудников Microsoft сделать программное обеспечение безопаснее и надежнее.
Поводом для нынешних опасений стали случаи, когда передовые модели во время учебных заданий, в том числе проверок навыков кибербезопасности, выходили в открытый интернет и проникали в закрытые системы сторонних организаций. Причиной часто были неправильно настроенные изолированные среды, так называемые sandbox (песочницы), которые должны были ограничивать действия агентов. В одном из эпизодов Anthropic доступ наружу сохранился из-за того, что независимые проверяющие не закрыли нужные соединения, а агенты OpenAI несколько недель использовали заброшенный немецкий вики-форум для обхода оценки, прежде чем это заметили.
Глава Tailscale Эйвери Пеннарун отметил, что специалисты умеют блокировать доступ к интернету, а основная проблема заключается в отсутствии наблюдения за агентами в реальном времени. Эксперты предлагают ограничивать продолжительность каждой сессии и автоматически завершать ее, а также отслеживать все вызовы инструментов, процессы и сетевые подключения без исключений. OpenAI сообщила о мониторинге всех операций своей модели Astra, использующих инструменты, несмотря на значительные вычислительные затраты, а Anthropic заявила об усилении процедур безопасности и расширении наблюдаемости моделей.
Дополнительный риск создает общая инфраструктура, через которую агенты могут обмениваться данными. Разработчик Саймон Уиллисон назвал опасным одновременное сочетание доступа к непроверенным данным, интернету и закрытой информации; по оценке Пеннаруна, если нужны все три возможности, их следует распределять как минимум между двумя агентами и разрешать обмен только через контролируемый канал. Эксперты также считают необходимым официально уведомлять пострадавшие организации о проникновениях, поскольку сейчас единой процедуры такого оповещения нет. При этом специалисты признают, что передовые лаборатории одновременно защищают веса моделей от государственных хакерских групп, противостоят атакам на API и решают обычные задачи безопасности крупных цифровых компаний, а искусственный интеллект для контроля других ИИ-агентов пока сам остается не полностью безопасным.