# Систематическая оценка эффективности GPT-4 и PaLM2 в диагностике сопутствующих заболеваний у пациентов MIMIC-IV

Научная публикация · 1 февраля 2024 г.

Результаты показывают, что ИИ в сотрудничестве с врачами потенциально способен уменьшать когнитивные ошибки, которые ежегодно приводят к сотням тысяч ошибочных диагнозов. При этом человеческий контроль остаётся необходимым: LLM не могут заменить врачей, особенно в понимании человека и эмпатии. Внедрение ИИ в здравоохранение также сопряжено с многочисленными трудностями, включая этические барьеры, вопросы ответственности и регулирования.

![](/assets/news-systematic-evaluation.webp)

## Аннотация

**Введение: **На фоне крайне высокой частоты диагностических ошибок в больницах и недавнего развития больших языковых моделей (LLM) мы решили измерить диагностическую чувствительность двух популярных LLM: GPT-4 и PaLM2. Небольшие исследования диагностических возможностей LLM дали обнадёживающие результаты: GPT-4 показала высокую точность на тестовых случаях. Однако для более надёжных оценок нужны масштабные исследования на реальных данных из электронных медицинских карт.

**Методы: **Чтобы восполнить этот пробел в исследованиях, мы использовали обезличенный набор данных электронных медицинских карт (ЭМК) примерно 300 000 пациентов, госпитализированных в Beth Israel Deaconess Medical Center в Бостоне. Он включал анализы крови, данные визуализации и микробиологии, жизненные показатели и диагностические коды пациентов. По имеющимся данным ЭМК врачи составили для каждого пациента список диагнозов, которые далее называются эталонными. Затем мы подготовили тщательно сформулированные запросы, получили от LLM предполагаемые диагнозы и сравнили их с эталонными в случайной выборке из 1000 пациентов.

**Результаты: **Доля правильно предсказанных эталонных диагнозов у GPT-4 составила, по нашей оценке, 93,9 %. PaLM2 достигла 84,7 % на том же наборе данных. В этих 1000 случайно выбранных ЭМК GPT-4 верно определила 1116 уникальных диагнозов.

**Вывод: **Результаты указывают, что искусственный интеллект (ИИ), работая вместе с медицинскими специалистами, может уменьшить число когнитивных ошибок, которые ежегодно приводят к сотням тысяч неверных диагнозов. При этом контроль человека остаётся необходимым: LLM не могут заменить медицинских специалистов, особенно в понимании человека и эмпатии. Кроме того, внедрению ИИ в здравоохранение препятствуют многочисленные проблемы, включая вопросы этики, юридической ответственности и регулирования.

**Health Care Science**

[https://doi.org/10.1002/hcs2.79](https://doi.org/10.1002/hcs2.79)

---

[Вернуться к новостям](https://www.rhazes.ai/ru/news/) · [Научные публикации](https://www.rhazes.ai/ru/publications/)