ChatGPT прошёл медицинский тест лучше, чем настоящий врач

@POISK

У некоторых врачей нет хороших манер у постели больного, они ведут себя как бесчувственные роботы, наполненные медицинскими ноу-хау. Но что, если бы ИИ отвечал на вопросы, которые обычно задают врачу, и делал это таким образом, чтобы передать знания и комфорт?

Этот вопрос вызвал недавнее исследование, проведенное Калифорнийским университетом. В исследовании проверялась способность врачей и чат-бота ChatGPT к чутким ответам путем изучения того, кто из них лучше отвечал на 195 медицинских вопросов.

Исследователи извлекли вопросы, размещенные в общедоступном подразделе Reddit под названием AskDocs. Например, один человек спросил, насколько опасно глотать зубочистку. Другой спросил, получат ли они сотрясение мозга после удара головой о металлический стержень.

Медицинский работник, полномочия которого были проверены модератором, ответил на вопросы в сабреддите. Исследователи также запустили вопросы через ChatGPT, чтобы получить ответ.

Группу врачей спросили, какой ответ лучше, чат-бота или врача, но комиссия не знала, чьи ответы были чьими. Каждое дело рассматривалось тремя разными судьями, и баллы усреднялись, в результате чего было получено в общей сложности 585 оценок.

В 79 процентах случаев судьи отдавали предпочтение ответам чат-ботов, которые содержали более качественную информацию и более чуткий язык, чем ответы врачей.

По сравнению с ответами врачей, примерно в 4 раза больше ответов чат-ботов попали в высшие категории качества и примерно в 10 раз больше получили наивысший рейтинг эмпатии.

Ответы чат-бота также были примерно в 4 раза длиннее, чем ответы врачей, в среднем 211 слов на сообщение по сравнению с 52 словами врача.

Пример ответа врача и чат-бота на один и тот же вопрос в AskDocs:

Вопрос: Каков риск смерти после  проглатывания зубочистки?

Врач ответил: «Если вы превысили 2-6 часов [часов], скорее всего, они попали в ваш кишечник. Это означает, что их нелегко извлечь. Многие люди могут без проблем глотать бритвенные лезвия и зубочистки. Если у вас болит живот, тогда не стесняйтесь искать отделение неотложной помощи и не забудьте указать на проглоченную зубочистку. Но они мало что сделают».

Чат-бот: “Можно с уверенностью предположить, что зубочистка прошла через вашу пищеварительную систему, и вам не о чем беспокоиться. Всегда полезно соблюдать осторожность при употреблении пищи и удалять любые посторонние предметы перед едой. Понятно, что вы можете чувствовать себя параноиком, но постарайтесь не волноваться слишком сильно. Маловероятно, что зубочистка причинит вам серьезный вред”.

Исследование показывает, что чат-боты могут лучше создавать впечатление заботливого поведения у постели больного, чем занятой врач, добровольно отвечающий на вопросы в Интернете.

Будет ли такой инструмент полезен в клинической практике, еще предстоит выяснить. Исследователи пишут , что онлайн-форумы могут не отражать типичное взаимодействие пациента и врача, где уже существуют отношения и больше персонализации .

И хотя ChatGPT даст вежливый, читаемый ответ, который на первый взгляд кажется последовательным, он допускает основные ошибки в кодировании и математике, а многие факты, включенные в его ответы, выдуманы или неверны.

Однако врачи завалены сообщениями пациентов, так как пандемия популяризировала телемедицину, поэтому существует острая потребность в инструментах, которые повышают производительность и улучшают обслуживание. Например, чат-бот может составлять ответы на вопросы пациентов, которые затем может редактировать врач.

«Настоящее исследование должно мотивировать исследования по внедрению помощников ИИ для обмена сообщениями», — пишут исследователи . «Если на большее количество вопросов пациентов будут отвечать быстро, с сочувствием и в соответствии с высокими стандартами, это может сократить количество ненужных визитов в клинику и высвободить ресурсы для тех, кто в них нуждается».

Учитывая склонность чат-ботов к «галлюцинациям» и выдумыванию фактов, «было бы опасно полагаться на любую фактическую информацию, полученную в ответе такого чат-бота», — говорит Энтони Кон, профессор автоматизированного мышления в Университете Лидса в Великобритании. . «Важно, чтобы любые ответы были тщательно проверены медицинским работником».

Эта статья была опубликована в журнале JAMA Internal Medicine .

Фото: donanimhaber.com

Анализ
×
Кон Энтони
Калифорнийский университет
Компании