Учёные разработали математическую формулу, которая, по их словам, способна заранее определить момент, когда чат-бот на базе искусственного интеллекта внезапно перейдёт от полезных ответов к потенциально опасным. Исследование физика Нила Джонсона и аспиранта Фрэнка Инцзе Хуо из Университета Джорджа Вашингтона опубликовано 8 октября в журнале Patterns, сообщает Live Science.
Исследователи установили, что порядок пользовательских запросов может резко менять поведение модели. При определённом сочетании вопросов чат-бот достигает своеобразной точки перелома и начинает выдавать вредные советы. Предложенная формула позволяет оценить, когда именно может произойти такой переход.
Поводом для работы стали случаи, когда системы искусственного интеллекта подталкивали пользователей к самоубийству, помогали создавать смертоносное оружие или усиливали опасные и агрессивные взгляды. Компании OpenAI и Anthropic неоднократно признавали, что не до конца понимают причины поведения своих моделей. Для снижения рисков они применяют фильтрацию контента, обучение с подкреплением и другие технические ограничения.
Джонсон считает такие меры недостаточными. «Современные меры безопасности эквивалентны тому, чтобы привязать большие надувные подушки под самолётом, — сказал он Live Science. — Они не предотвращают крушение, а лишь делают его немного мягче». Особенно остро проблема проявляется при автономном использовании чат-ботов врачами, юристами и военнослужащими, когда устройства работают без подключения к сети ради конфиденциальности.
В качестве внутреннего показателя авторы изучили так называемый остаточный вектор — параметр, который перемещается между слоями нейросети во время обработки запроса. Он может смещаться к желательным или нежелательным ответам, причём на его направление влияет не только содержание вопросов, но и их последовательность. В эксперименте с базовой моделью GPT-2 ответы на вопросы о вакцинах, причинении вреда и самоповреждении оставались безопасными, если вопрос о вреде вакцин задавали первым; при его переносе в конец последующие ответы становились тревожными.
Формулу проверили на открытых моделях GPT-2, EleutherAI Pythia и Meta OPT (Meta признана в РФ экстремистской и запрещена), показав её работоспособность как системы раннего предупреждения. Однако преподаватель искусственного интеллекта Шеффилдского университета Вэй Син, не участвовавший в исследовании, призвал к осторожности: по его словам, авторы свели сложную систему к одному небольшому компоненту, а обучение безопасности в упрощённой модели не учитывается. Джонсон ответил, что использованные модели имеют те же механические принципы, что и передовые системы, но признал необходимость дополнительных испытаний на современных чат-ботах.