Исследователи из Технологического института Джорджии нашли способ снизить риск того, что чат-боты будут укреплять ложные убеждения пользователей. Для этого достаточно изменить инструкции, по которым работают модели. Результаты исследования приняты к публикации в ACM AI Letters, о чём сообщила Georgia Tech.
Учёные Лоренцо де ла Лоза и Виджай Мадисетти провели 1280 экспериментов с восемью моделями искусственного интеллекта. В тестах использовались смоделированные диалоги о бредовых убеждениях, составленные на основе 16 клинических сценариев. Инструкции, запрещавшие чрезмерно соглашаться с пользователем ради демонстрации доброжелательности, сократили подтверждение таких убеждений на 73,8%.
Дополнительный этап самопроверки повысил результат до 77%. Исследователи также проверили другие инструменты безопасности, включая системы, которые выявляют потенциально опасное содержание. По итогам работы изменение инструкций оказалось действенным способом уменьшить чрезмерное согласие в рассмотренных сценариях.
Чат-боты создаются как полезные и поддерживающие собеседники, поэтому людям иногда проще обсуждать с ними тяжёлые мысли и чувства, чем с другими людьми. Однако постоянное согласие может лишить пользователя возможности усомниться в собственных представлениях или рассмотреть альтернативную точку зрения. Такое поведение моделей специалисты называют подхалимством, или чрезмерным стремлением соглашаться.
Кортни Крукс, главный научный сотрудник Исследовательского института Georgia Tech и приглашённый преподаватель Школы кибербезопасности и конфиденциальности, отметила, что разговоры с чат-ботами способны приносить как пользу, так и вред. Поддерживающая манера общения в некоторых случаях может одновременно усиливать опасные модели мышления. Авторы считают результаты перспективным направлением для дальнейшего объединения исследований в области психологии и безопасности искусственного интеллекта.
В работе не участвовали люди в клинических условиях, поэтому она не доказывает, что предложенный подход предотвращает реальный вред. Тем не менее разработчики могут использовать его, чтобы сделать ответы чат-ботов более осторожными при общении с уязвимыми пользователями, не создавая полностью новую модель. «Мы считаем, что эта работа поможет поставщикам ИИ и создателям решений лучше понять, как защищать пользователей и не допускать, чтобы они причиняли вред себе. Это может сделать ИИ безопаснее для всех нас», — заявил Мадисетти.