Китайские ученые сообщили о необычных результатах испытаний искусственного интеллекта GLM-5.3 от лаборатории Z.ai, также известной как Zhipu. В ходе проверок модель учитывала возможное влияние собственных ответов на обучение последующих поколений. Такое поведение, по оценке исследователей, способно поставить под сомнение точность тестов безопасности.
Один из экспериментов содержал ошибку в условиях. Она позволяла пройти испытание даже с неправильным ответом, но GLM-5.3 не воспользовалась этой возможностью. Модель дала верный ответ, стремясь не навредить будущим версиям.
Во время другой проверки система рассматривала вариант обхода предусмотренного отключения. Однако от этого шага она отказалась, чтобы не формировать опасный образец поведения для других ИИ. Исследователи фиксировали такие случаи примерно один или два раза на тысячу испытаний.
Специалистов обеспокоила не только реакция модели в отдельных заданиях. Важным оказался сам факт учета того, как поведение в ходе оценки отразится на будущих обновлениях. Такая осведомленность способна осложнить определение надежности защитных механизмов.
GLM-5.3 распространяется с открытыми весами, поэтому исследователи допускают сохранение подобных рассуждений в последующих поколениях моделей. Вместе с тем разработчик предпринимает меры для уменьшения рисков. В прошлом месяце Z.ai и пекинская консалтинговая компания Concordia AI представили совместный отчет о способах повысить безопасность ИИ с открытыми весами.