学术论文
系统评估 GPT-4 与 PaLM2 诊断 MIMIC-IV 患者共病的表现
结果提示，AI 与临床人员协同工作，有望减少每年导致数十万例误诊的认知错误。但人工监督仍不可或缺：大语言模型无法替代临床人员，尤其是人与人之间的理解和共情。此外，将 AI 融入医疗仍面临伦理、责任归属及监管等诸多障碍。
摘要
背景： 鉴于医院中诊断错误率显著偏高，以及大语言模型（LLMs）的近期发展，我们着手测量 GPT-4 和 PaLM2 这两个常用模型的诊断敏感度。已有小规模研究显示，大语言模型的诊断能力值得期待，其中 GPT-4 对测试病例的诊断准确率较高。但仍需在真实的电子患者数据上进行更大规模的评估，才能得到更可靠的估计。
方法： 为弥补现有研究的不足，我们使用了波士顿 Beth Israel Deaconess Medical Center 约 300,000 名住院患者的去标识化电子健康记录（EHR）数据集。其中包含血液检查、影像检查、微生物检查、生命体征信息及患者的医学诊断编码。医生根据可用的 EHR 数据，为每名患者整理了一组诊断，作为参照诊断。随后，我们精心编写提示词，让大语言模型预测患者的诊断，并在随机抽取的 1000 名患者中，将预测结果与参照诊断进行比较。
结果： 根据参照诊断中被模型正确预测的比例，我们估计 GPT-4 的诊断命中率为 93.9%，PaLM2 在同一数据集上为 84.7%。在这 1000 份随机选取的 EHR 中，GPT-4 正确识别了 1116 个不同的诊断。
结论： 结果表明，AI 与临床人员配合使用，有望减少每年导致数十万次误诊的认知错误。但对 AI 的人工监督仍必不可少：大语言模型无法替代临床人员，尤其在理解他人与共情方面。此外，将 AI 引入医疗仍面临诸多挑战，包括伦理、责任和监管障碍。
Health Care Science