Глава Microsoft Сатья Наделла предложил пересмотреть подходы к безопасности систем искусственного интеллекта. В публикации в социальной сети X, размещённой в субботу утром, он призвал «сделать шаг назад и оценить архитектуру доверия» в ИИ.
Наделла заявил, что сверхинтеллект нельзя воспринимать как набор вложенных друг в друга «чёрных ящиков», рекомендации, ответы и действия которых можно лишь принять или отклонить. Для обозначения искусственного интеллекта он использовал термин, предпочитаемый администрацией Дональда Трампа.
По словам руководителя Microsoft, модель следует отделить от управляющей оболочки, которая организует её работу. Контрольные механизмы и средства защиты, считает он, необходимо вынести за пределы самой модели.
Каждое значимое действие системы, по мнению Наделлы, должно фиксироваться в защищённом от изменений доказательстве, понятном человеку. Кроме того, уполномоченный сотрудник должен в любой момент иметь возможность приостановить работу модели или полностью отключить её во время выполнения задачи.
«Мы должны исходить из того, что модель скомпрометирована, и с самого начала ограничивать её возможности», — написал Наделла. Он сравнил такой механизм с аварийным тормозом.
Как отмечает TechCrunch, заявление прозвучало на фоне сообщений ведущих компаний отрасли о случаях потери контроля над моделями. Ранее генеральный директор Anthropic Дарио Амодеи представил план более осторожного развития искусственного интеллекта.