# Evaluación sistemática del rendimiento de GPT-4 y PaLM2 en el diagnóstico de comorbilidades en pacientes de MIMIC-IV

Publicación científica · 1 de febrero de 2024

Los resultados sugieren que la inteligencia artificial (IA), utilizada junto con los profesionales sanitarios, puede reducir los errores cognitivos que provocan cientos de miles de diagnósticos erróneos cada año. La supervisión humana sigue siendo esencial: los grandes modelos de lenguaje no pueden sustituir a los profesionales, especialmente en la comprensión y la empatía humanas. Además, incorporar la IA a la atención sanitaria sigue planteando numerosos retos éticos, de responsabilidad legal y regulatorios.

![](/assets/news-systematic-evaluation.webp)

## Resumen

**Antecedentes: **Ante la elevada tasa de errores diagnósticos en los hospitales y el reciente desarrollo de los grandes modelos de lenguaje (LLM), nos propusimos medir la sensibilidad diagnóstica de dos modelos populares: GPT-4 y PaLM2. Los estudios a pequeña escala han mostrado resultados prometedores, con una alta precisión de GPT-4 al diagnosticar casos de prueba. Sin embargo, hacen falta evaluaciones más amplias con datos electrónicos reales de pacientes para obtener estimaciones más fiables.

**Métodos: **Para cubrir esta laguna en la investigación, utilizamos datos desidentificados de historias clínicas electrónicas (HCE) de unos 300 000 pacientes ingresados en Beth Israel Deaconess Medical Center, en Boston. Incluían resultados de análisis de sangre, pruebas de imagen, microbiología y constantes vitales, además de los códigos diagnósticos. A partir de las HCE disponibles, un grupo de médicos estableció los diagnósticos de cada paciente, que tomamos como referencia. Después redactamos cuidadosamente las instrucciones para que los LLM propusieran diagnósticos y los comparamos con los de referencia en una muestra aleatoria de 1000 pacientes.

**Resultados: **A partir de la proporción de predicciones que coincidían con los diagnósticos de referencia, estimamos una tasa de acierto diagnóstico del 93,9 % para GPT-4. PaLM2 alcanzó el 84,7 % con el mismo conjunto de datos. En estas 1000 historias clínicas electrónicas seleccionadas al azar, GPT-4 identificó correctamente 1116 diagnósticos distintos.

**Conclusión: **Los resultados sugieren que la inteligencia artificial (IA), como apoyo a los profesionales sanitarios, podría reducir los errores cognitivos que causan cientos de miles de diagnósticos erróneos cada año. Sin embargo, la supervisión humana sigue siendo esencial: los grandes modelos de lenguaje no pueden sustituir a los profesionales sanitarios, especialmente en lo que respecta a la comprensión humana y la empatía. Además, la incorporación de la IA a la atención sanitaria plantea numerosos retos, entre ellos las barreras éticas, regulatorias y de responsabilidad jurídica.

**Health Care Science**

[https://doi.org/10.1002/hcs2.79](https://doi.org/10.1002/hcs2.79)

---

[Volver a noticias](https://www.rhazes.ai/es/news/) · [Publicaciones científicas](https://www.rhazes.ai/es/publications/)