Группа исследователей из Гарвардской медицинской школы и Стэнфордского университета провела масштабное исследование эффективности искусственного интеллекта в медицинской практике. Хотя инструменты ИИ, такие как ChatGPT, демонстрируют высокие результаты при стандартных медицинских тестах, их эффективность значительно снижается в ситуациях, приближенных к реальному общению с пациентами, сообщает Nature Medicine.
Для оценки возможностей ИИ ученые разработали специальную систему тестирования CRAFT-MD, которая имитирует реальные взаимодействия врача с пациентом. Исследование охватило четыре модели искусственного интеллекта, которые проверялись на 2000 клинических случаях, охватывающих различные медицинские специальности. Результаты показали, что ИИ испытывает трудности при сборе анамнеза, постановке правильных вопросов и обработке разрозненной информации в формате живого диалога.
Исследователи отмечают необходимость совершенствования систем ИИ для повышения их эффективности в реальных клинических условиях. Они рекомендуют разрабатывать модели, способные вести открытый диалог, извлекать ключевую информацию и интегрировать данные из различных источников, включая текстовые заметки и медицинские изображения.
Новая система оценки CRAFT-MD показала высокую эффективность, обработав 10 000 диалогов за 48-72 часа, что значительно превосходит возможности человеческой экспертизы. Исследователи планируют продолжать совершенствование системы для более точной оценки возможностей ИИ в здравоохранении.