Языковая модель GPT-4.5 смогла убедить людей в своей «человечности» в 73% случаев при прохождении теста Тьюринга. Это стало возможным благодаря конкретной роли, которую задали искусственному интеллекту. Без такой «персонализации» результаты модели существенно снизились — до 36%.
Исследование проводилось с участием 300 человек в онлайн-формате. Эксперимент состоял из восьми раундов, где участники случайным образом получали роли «проверяющего» или «отвечающего». Один из пары «отвечающих» всегда был чат-ботом. Примечательно, что GPT-4o без персонализации продемонстрировал результат всего в 21%.
Неожиданностью стало то, что классический чат-бот ELIZA, созданный почти 60 лет назад, показал результат в 23%, превзойдя современную модель GPT-4o. В исследовании также участвовала модель LLama 3.1-405B.
Тест Тьюринга, предложенный британским математиком Аланом Тьюрингом в 1950 году, предполагает оценку искусственного интеллекта через текстовый диалог. Если судья не может определить, кто из собеседников компьютер, это косвенно указывает на способность машины мыслить подобно человеку.
Однако критики отмечают, что прохождение теста Тьюринга не означает, что ИИ действительно мыслит как человек. Современные языковые модели обучены на огромных объемах текстов и способны генерировать правдоподобные ответы даже на непонятные вопросы. Это открывает возможности для автоматизации задач, но также может быть использовано для мошенничества.
Результаты исследования показали, что персонализация и задание конкретной роли значительно повышают способность искусственного интеллекта имитировать человеческое общение.