快速评测大语言模型诊断共病患者的能力：以大语言模型为评审的比较研究

本研究使用 3 种提示词、2 个温度设置，以及随机选取的 1000 例重症监护医学信息数据库 IV（MIMIC-IV）住院病例，比较 Google、OpenAI、Meta、Mistral、Cohere 和 Anthropic 的 18 个大语言模型的诊断能力。我们还探索了利用美国内科医学委员会提供的参考范围，通过检索增强生成（RAG）提高 GPT-4o 05‐13 的诊断命中率。

摘要

背景： 平均每 10 名患者中就有 1 名因诊断错误死亡，医疗错误是美国第三大死因。虽然已有建议使用大语言模型（LLMs）帮助医生诊断，但尚无已发表的研究，在大规模、公开可获取的真实患者队列中，比较多种常用大语言模型的诊断能力。

目的： 本研究比较 Google、OpenAI、Meta、Mistral、Cohere 和 Anthropic 的 18 个大语言模型的诊断能力，采用 3 种提示词、2 个温度设置，以及从 Medical Information Mart for Intensive Care-IV（MIMIC-IV）中随机抽取的 1000 次住院记录。我们还利用 American Board of Internal Medicine 提供的参考范围，探索能否通过检索增强生成（RAG）提高 GPT-4o 05‐13 的诊断命中率。

方法： 我们使用大语言模型担任评审的方法，即基于大语言模型的自动评估，对 21 个大语言模型的诊断能力进行了评估。数据来自包含最终诊断编码的 MIMIC-IV 患者记录。对每个病例，由另一个独立的评估模型（“评审”）将预测模型给出的诊断与患者记录中的真实诊断进行比较。评估模型先判断能否根据现有数据推断出每项真实诊断；若能，再判断预测是否正确（“命中”）或未能正确预测（“未命中”）。无法从记录中推断的诊断不纳入命中率分析。命中率定义为命中数除以命中与未命中的总数。模型表现差异的统计学显著性，使用合并比例的 z 检验进行评估。

结果： 按 GPT-4.1 的评估，Gemini 2.5 表现最佳，诊断命中率为 97.4%（95% 置信区间 97.0%‐97.8%），显著优于 GPT-4.1、Claude-4 Opus 和 Claude Sonnet。不过，在由 GPT-4 Turbo 评估的另一组实验中，GPT-4.1 排名第一；GPT-4 Turbo 的评估总体上比 GPT-4.1 更宽松。不同提示词下的诊断命中率差异显著，而改变温度设置通常影响较小。最后，RAG 使 GPT-4o 05‐13 的命中率平均提高 0.8%，提升具有统计学意义（P<.006）。

结论： 虽然结果令人鼓舞，但仍需使用更多样的数据集、在医院开展试点，并与医生密切合作，才能更充分地了解这些模型的诊断能力。

JMIRx Med 2025;6:e67661

doi:10.2196/67661