Быстрая оценка больших языковых моделей в диагностике пациентов с сопутствующими заболеваниями: сравнительное исследование с LLM в роли оценщика

В исследовании мы сравнили диагностические возможности 18 LLM от Google, OpenAI, Meta, Mistral, Cohere и Anthropic с использованием 3 запросов, 2 значений температуры и 1000 случайно выбранных госпитализаций из Medical Information Mart for Intensive Care-IV (MIMIC-IV). Мы также изучаем повышение доли диагнозов, верно определённых GPT-4o 05‐13 с помощью генерации, дополненной поиском (RAG), используя референсные значения American Board of Internal Medicine.

Аннотация

Введение: В среднем 1 из 10 пациентов умирает из-за диагностической ошибки, а медицинские ошибки занимают третье место среди причин смерти в США. Большие языковые модели (LLM) предлагают использовать в помощь врачам при постановке диагноза. Однако до сих пор не опубликованы исследования, сравнивающие диагностические возможности многих популярных LLM на большой общедоступной выборке реальных пациентов.

Цель: Мы сравнили диагностические возможности 18 LLM от Google, OpenAI, Meta, Mistral, Cohere и Anthropic, используя 3 варианта запроса, 2 значения температуры и 1000 случайно выбранных госпитализаций из базы Medical Information Mart for Intensive Care-IV (MIMIC-IV). Мы также изучили, можно ли повысить долю верно определённых диагнозов у GPT-4o 05‐13 с помощью генерации, дополненной поиском (RAG), используя референсные интервалы American Board of Internal Medicine.

Методы: Мы оценили диагностические возможности 21 LLM с помощью автоматизированного подхода, в котором LLM выступает оценщиком, на медицинских картах MIMIC-IV с окончательными диагностическими кодами. Для каждого случая отдельная LLM-оценщик («судья») сравнивала диагнозы, предложенные диагностической LLM, с истинными диагнозами из карты пациента. Оценщик определял, можно ли вывести каждый истинный диагноз из имеющихся данных и, если да, был ли он предсказан верно («попадание») или нет («пропуск»). Диагнозы, которые нельзя было вывести из карты, исключали из анализа. Долю верно определённых диагнозов рассчитывали как число попаданий, делённое на сумму попаданий и пропусков. Статистическую значимость различий между моделями оценивали с помощью z-критерия для сравнения долей с объединённой оценкой.

Результаты: Лучший результат показала Gemini 2.5: доля верно определённых диагнозов составила 97,4 % (95 % ДИ 97,0 %–97,8 %) по оценке GPT-4.1, значительно выше, чем у GPT-4.1, Claude-4 Opus и Claude Sonnet. Однако в отдельной серии экспериментов, где оценщиком выступала GPT-4 Turbo, первое место заняла GPT-4.1. Оценки GPT-4 Turbo, как правило, были менее строгими, чем у GPT-4.1. Доля верно определённых диагнозов существенно менялась в зависимости от запроса, тогда как изменение температуры обычно влияло мало. Наконец, RAG значительно улучшила результат GPT-4o 05‐13, в среднем на 0,8 % (P<0,006).

Выводы: Результаты обнадёживают, но для более глубокого понимания диагностических возможностей этих моделей нужны более разнообразные наборы данных, пилотные проекты в больницах и тесное сотрудничество с врачами.

JMIRx Med 2025;6:e67661

doi:10.2196/67661