Насколько надежны медицинские рекомендации чат-ботов. Исследование Oxford

Исследование Oxford показало, что людям сложно получать полезные советы по здоровью от чат-ботов.

Длинные очереди и рост цен в перегруженных системах здравоохранения вынуждают многих обращаться к ИИ-чат-ботам, таким как ChatGPT, для самостоятельной диагностики. Примерно один из шести взрослых американцев использует чат-ботов для получения медицинских советов как минимум раз в месяц.  

Однако чрезмерное доверие к таким технологиям может быть рискованным. Согласно исследованию, проведенному под руководством Оксфорда, пользователям бывает сложно понять, какую информацию нужно предоставить, чтобы получить точные медицинские рекомендации.  

В рамках исследования было привлечено около 1300 человек из Великобритании. Участникам предоставили медицинские сценарии, составленные группой врачей, и предложили определить возможные заболевания, используя как чат-ботов, так и собственные методы.  

В эксперименте использовались GPT-4o, Command R+ от Cohere, а также Llama 3 от Meta, ранее применявшаяся в помощнике Meta AI. Чат-боты не только снижали вероятность корректного определения заболевания, но и увеличивали риск недооценки его серьезности.  

Исследование было опубликовано на фоне активного внедрения ИИ в сферу здравоохранения. Технологические компании продвигают ИИ как способ улучшения медицинских процессов. Например, Apple разрабатывает инструмент, который сможет давать советы по физической активности, питанию и сну, Amazon изучает возможности анализа медицинских данных для выявления «социальных факторов здоровья», а Microsoft помогает создавать ИИ, который сортирует сообщения от пациентов для врачей.  

Однако профессиональное сообщество и пациенты по-разному оценивают готовность ИИ к выполнению более сложных медицинских задач. Американская медицинская ассоциация рекомендует врачам не использовать чат-ботов вроде ChatGPT для принятия клинических решений, а крупные компании, работающие в сфере ИИ, включая OpenAI, предостерегают от использования их технологий для самостоятельной постановки диагнозов.  

Существующие методы оценки чат-ботов не отражают всей сложности их взаимодействия с реальными пользователями. Как и при клинических испытаниях новых препаратов, ИИ-чат-боты должны быть протестированы в реальных условиях перед массовым применением.  

Адам Махди, директор магистратуры Оксфордского института интернета
Исследование выявило проблемы в двусторонней коммуникации. Те, кто использовал чат-ботов, не принимали лучших решений по сравнению с участниками, которые полагались на традиционные методы, такие как онлайн-поиск или собственное мнение. 

Участники зачастую упускали важные детали при обращении к чат-ботам или получали ответы, которые сложно интерпретировать. 

Ответы, которые они получали, часто содержали как полезные, так и ошибочные рекомендации. Существующие методы оценки чат-ботов не учитывают всю сложность взаимодействия с реальными пользователями.

Источник: TechCrunch