Научная публикация
Систематическая оценка эффективности GPT-4 и PaLM2 в диагностике сопутствующих заболеваний у пациентов MIMIC-IV
Результаты показывают, что ИИ в сотрудничестве с врачами потенциально способен уменьшать когнитивные ошибки, которые ежегодно приводят к сотням тысяч ошибочных диагнозов. При этом человеческий контроль остаётся необходимым: LLM не могут заменить врачей, особенно в понимании человека и эмпатии. Внедрение ИИ в здравоохранение также сопряжено с многочисленными трудностями, включая этические барьеры, вопросы ответственности и регулирования.
Аннотация
Введение: На фоне крайне высокой частоты диагностических ошибок в больницах и недавнего развития больших языковых моделей (LLM) мы решили измерить диагностическую чувствительность двух популярных LLM: GPT-4 и PaLM2. Небольшие исследования диагностических возможностей LLM дали обнадёживающие результаты: GPT-4 показала высокую точность на тестовых случаях. Однако для более надёжных оценок нужны масштабные исследования на реальных данных из электронных медицинских карт.
Методы: Чтобы восполнить этот пробел в исследованиях, мы использовали обезличенный набор данных электронных медицинских карт (ЭМК) примерно 300 000 пациентов, госпитализированных в Beth Israel Deaconess Medical Center в Бостоне. Он включал анализы крови, данные визуализации и микробиологии, жизненные показатели и диагностические коды пациентов. По имеющимся данным ЭМК врачи составили для каждого пациента список диагнозов, которые далее называются эталонными. Затем мы подготовили тщательно сформулированные запросы, получили от LLM предполагаемые диагнозы и сравнили их с эталонными в случайной выборке из 1000 пациентов.
Результаты: Доля правильно предсказанных эталонных диагнозов у GPT-4 составила, по нашей оценке, 93,9 %. PaLM2 достигла 84,7 % на том же наборе данных. В этих 1000 случайно выбранных ЭМК GPT-4 верно определила 1116 уникальных диагнозов.
Вывод: Результаты указывают, что искусственный интеллект (ИИ), работая вместе с медицинскими специалистами, может уменьшить число когнитивных ошибок, которые ежегодно приводят к сотням тысяч неверных диагнозов. При этом контроль человека остаётся необходимым: LLM не могут заменить медицинских специалистов, особенно в понимании человека и эмпатии. Кроме того, внедрению ИИ в здравоохранение препятствуют многочисленные проблемы, включая вопросы этики, юридической ответственности и регулирования.
Health Care Science