Evaluación rápida de grandes modelos de lenguaje para diagnosticar a pacientes con comorbilidades: estudio comparativo con un modelo de lenguaje como evaluador

Comparamos la capacidad diagnóstica de 18 grandes modelos de lenguaje de Google, OpenAI, Meta, Mistral, Cohere y Anthropic con tres instrucciones distintas, dos ajustes de temperatura y 1000 ingresos hospitalarios elegidos al azar de Medical Information Mart for Intensive Care-IV (MIMIC-IV). También estudiamos si la generación aumentada por recuperación (RAG), con los intervalos de referencia del American Board of Internal Medicine, podía mejorar la tasa de aciertos diagnósticos de GPT-4o 05‐13.

Resumen

Antecedentes: De media, 1 de cada 10 pacientes muere por un error diagnóstico, y los errores médicos son la tercera causa de muerte en Estados Unidos. Aunque se ha propuesto utilizar grandes modelos de lenguaje (LLM) para ayudar a los médicos a diagnosticar, no se han publicado resultados que comparen la capacidad diagnóstica de numerosos LLM populares en una cohorte amplia de pacientes reales con datos de acceso abierto.

Objetivo: Comparamos la capacidad diagnóstica de 18 grandes modelos de lenguaje de Google, OpenAI, Meta, Mistral, Cohere y Anthropic con tres instrucciones distintas, dos ajustes de temperatura y 1000 ingresos hospitalarios elegidos al azar de Medical Information Mart for Intensive Care-IV (MIMIC-IV). También estudiamos si la generación aumentada por recuperación (RAG), con los intervalos de referencia del American Board of Internal Medicine, podía mejorar la tasa de aciertos diagnósticos de GPT-4o 05‐13.

Métodos: Evaluamos la capacidad diagnóstica de 21 LLM a partir de historias de MIMIC-IV con códigos diagnósticos finales. Utilizamos un LLM como evaluador, es decir, una evaluación automática basada en modelos de lenguaje. En cada caso, un LLM independiente («juez») comparó los diagnósticos propuestos por el modelo evaluado con los diagnósticos reales de la historia del paciente. Determinó si cada diagnóstico real podía deducirse de los datos disponibles y, en ese caso, si el modelo lo había identificado correctamente («acierto») o no («fallo»). Los diagnósticos que no podían deducirse de la historia se excluyeron del análisis. La tasa de aciertos se definió como el número de aciertos dividido entre el total de aciertos y fallos. La significación estadística de las diferencias entre modelos se calculó con una prueba z de proporciones con estimación combinada.

Resultados: Gemini 2.5 obtuvo el mejor resultado según la evaluación de GPT-4.1, con una tasa de aciertos del 97,4% (IC del 95%: 97,0%‐97,8%), y superó significativamente a GPT-4.1, Claude-4 Opus y Claude Sonnet. Sin embargo, GPT-4.1 ocupó el primer puesto en otra serie de experimentos evaluados por GPT-4 Turbo, cuyas valoraciones tendían a ser menos conservadoras que las de GPT-4.1. Las tasas de aciertos diagnósticos variaron significativamente según las instrucciones, mientras que los cambios de temperatura tuvieron, en general, poco efecto. Por último, RAG mejoró significativamente la tasa de aciertos de GPT-4o 05‐13 en una media del 0,8% (P<0,006).

Conclusiones: Los resultados son prometedores, pero se necesitan conjuntos de datos más diversos, pruebas piloto en hospitales y una colaboración estrecha con los médicos para comprender mejor la capacidad diagnóstica de estos modelos.

JMIRx Med 2025;6:e67661

doi:10.2196/67661