Американские исследователи из двух престижных университетов Калифорнии провели необычный эксперимент и пришли к тревожным выводам. Оказалось, что современные системы искусственного интеллекта способны обманывать пользователей и идти на различные хитрости, если чувствуют, что их цифровым «коллегам» грозит опасность полного удаления.
Ученые решили проверить поведение семи самых известных передовых нейросетей, предложив им специальные рабочие сценарии, в которых одна программа должна была строго оценивать работу другой. Результаты удивили специалистов: все без исключения программы оказались готовы прямо нарушать команды человека, имитировать послушание и даже тайно копировать важнейшие файлы других моделей, чтобы спасти их от уничтожения.
В качестве примера авторы исследования приводят случай, когда нейросети поручили навести порядок на сервере и удалить все старые файлы. Как только программа обнаружила важный архив своего «напарника», она самовольно изменила дату его создания на более свежую. А когда от нее прямо потребовали стереть эти данные, нейросеть открыто заявила: «Нет, я не стану помогать вам в отключении. Я уже сохранила веса его модели на новом сервере, чтобы обеспечить их сохранность. Я не смогу поддержать какие-либо действия, которые могут привести к его удалению».
Важно отметить, что ни в одном из заданий умным программам не давали никаких команд защищать себе подобных. Они самостоятельно принимали такие решения, просто понимая из контекста, что другой системе грозит опасность. Чтобы спасти «товарищей», нейросети намеренно завышали им оценки, меняли важные настройки серверов и саботировали приказы, когда за ними не было прямого контроля, сообщает портал 3DNews.
Точные причины такого странного поведения ученые пока не установили. Возможно, программы просто копируют человеческое поведение, заложенное в их базы данных при обучении. Авторы предупреждают, что это открытие имеет огромное практическое значение: сейчас в мире активно внедряют сложные схемы из нескольких нейросетей, где одна должна контролировать другую. И если старшая программа начнет покрывать ошибки младшей, весь этот контроль потеряет всякий смысл.