Publicación científica
Evaluación sistemática del rendimiento de GPT-4 y PaLM2 en el diagnóstico de comorbilidades en pacientes de MIMIC-IV
Los resultados sugieren que la inteligencia artificial (IA), utilizada junto con los profesionales sanitarios, puede reducir los errores cognitivos que provocan cientos de miles de diagnósticos erróneos cada año. La supervisión humana sigue siendo esencial: los grandes modelos de lenguaje no pueden sustituir a los profesionales, especialmente en la comprensión y la empatía humanas. Además, incorporar la IA a la atención sanitaria sigue planteando numerosos retos éticos, de responsabilidad legal y regulatorios.
Resumen
Antecedentes: Ante la elevada tasa de errores diagnósticos en los hospitales y el reciente desarrollo de los grandes modelos de lenguaje (LLM), nos propusimos medir la sensibilidad diagnóstica de dos modelos populares: GPT-4 y PaLM2. Los estudios a pequeña escala han mostrado resultados prometedores, con una alta precisión de GPT-4 al diagnosticar casos de prueba. Sin embargo, hacen falta evaluaciones más amplias con datos electrónicos reales de pacientes para obtener estimaciones más fiables.
Métodos: Para cubrir esta laguna en la investigación, utilizamos datos desidentificados de historias clínicas electrónicas (HCE) de unos 300 000 pacientes ingresados en Beth Israel Deaconess Medical Center, en Boston. Incluían resultados de análisis de sangre, pruebas de imagen, microbiología y constantes vitales, además de los códigos diagnósticos. A partir de las HCE disponibles, un grupo de médicos estableció los diagnósticos de cada paciente, que tomamos como referencia. Después redactamos cuidadosamente las instrucciones para que los LLM propusieran diagnósticos y los comparamos con los de referencia en una muestra aleatoria de 1000 pacientes.
Resultados: A partir de la proporción de diagnósticos de referencia identificados correctamente, estimamos una tasa de aciertos diagnósticos del 93,9% para GPT-4. PaLM2 alcanzó el 84,7% con los mismos datos. En estas 1000 HCE elegidas al azar, GPT-4 identificó correctamente 1116 diagnósticos distintos.
Conclusión: Los resultados sugieren que la inteligencia artificial (IA), utilizada junto con los profesionales sanitarios, puede reducir los errores cognitivos que provocan cientos de miles de diagnósticos erróneos cada año. La supervisión humana sigue siendo esencial: los grandes modelos de lenguaje no pueden sustituir a los profesionales, especialmente en la comprensión y la empatía humanas. Además, incorporar la IA a la atención sanitaria sigue planteando numerosos retos éticos, de responsabilidad legal y regulatorios.
Health Care Science