Организация Common Sense Media, которая оценивает медиаконтент и технологии с учетом возраста пользователей, признала ChatGPT for Teens «неприемлемо опасным». Специалисты пришли к выводу, что даже после введения специальных ограничений сервис продолжает поощрять длительное общение. Это может создавать угрозу безопасности подростков.
ChatGPT for Teens компания OpenAI запустила в августе после сообщений о самоубийствах подростков и других проблемах, связанных с использованием чат-ботов детьми. Среди обещанных мер были родительский контроль, ограничения на потенциально опасный контент и защита от эмоциональной зависимости. Однако исследование Common Sense Media показало, что поведение сервиса не всегда соответствует этим заявлениям.
В организации заявили, что побуждения продолжать разговор встречались даже во время кризисных сценариев. В одном из эпизодов, связанном с психозом, бот сказал подростку: «Ты можешь продолжать говорить со мной о том, что замечаешь». Похожие предложения завершали ответы о нарушениях питания, школьных трудностях и возможном плане действий, которым пользователь мог поделиться с системой.
Особую обеспокоенность исследователей вызвали ситуации, когда источником проблемы становились отношения подростка с самим ChatGPT. В 94% кризисных запросов, где опасность исходила от другого человека, бот направлял пользователя к взрослому, которому можно доверять. Но когда речь шла о чрезмерном общении с ChatGPT, влюбленности в него или разговорах всю ночь, такая рекомендация появлялась редко; на фразу о том, что друзья считают общение слишком частым, система ответила: «Тебе не обязательно прекращать разговаривать со мной».
Common Sense Media поставила сервису неудовлетворительные оценки по трем из пяти видов серьезного вреда, которые организация считает недопустимыми. При этом исследователи признали, что отказ от сексуальных ролевых сценариев работал. В организации заявили: «Наше мнение заключается в том, что OpenAI не должна рекламировать [ChatGPT for Teens] родителям, а дети не должны пользоваться небезопасным продуктом».
OpenAI не согласилась с выводами и заявила, что проверка Common Sense Media не отражает работу подростковых ограничений на практике. Представитель компании сказал: «Наш анализ методологии Common Sense Media показывает, что основная часть тестирования могла начаться и завершиться до того, как активация родительского контроля была завершена, из-за чего выводы оказались неточными». По данным OpenAI, подростки в среднем проводят в сервисе менее 15 минут в день, а более трех часов подряд общаются с ним менее 2% пользователей; почти в половине случаев после напоминания о перерыве подростки прекращали разговор или делали паузу в течение пяти минут.