Publication scientifique
Évaluation systématique des performances de GPT-4 et PaLM2 pour diagnostiquer les comorbidités des patients de MIMIC-IV
Les résultats suggèrent que l’intelligence artificielle (IA), utilisée aux côtés des professionnels de santé, pourrait réduire les erreurs cognitives à l’origine de centaines de milliers de diagnostics erronés chaque année. La supervision humaine reste toutefois indispensable : les LLM ne peuvent pas remplacer les professionnels de santé, notamment pour la compréhension humaine et l’empathie. L’intégration de l’IA dans les soins se heurte également à de nombreux obstacles, d’ordre éthique, réglementaire ou liés à la responsabilité juridique.
Résumé
Contexte : Face au taux particulièrement élevé d’erreurs diagnostiques à l’hôpital et au développement récent des grands modèles de langage (LLM), nous avons cherché à mesurer la sensibilité diagnostique de deux LLM courants : GPT-4 et PaLM2. Les études à petite échelle consacrées à leurs capacités diagnostiques ont donné des résultats prometteurs, GPT-4 montrant une grande exactitude sur des cas de test. Des évaluations plus larges sur des données électroniques de patients réels restent toutefois nécessaires pour obtenir des estimations plus fiables.
Méthodes : Pour combler cette lacune dans la littérature, nous avons utilisé un jeu de données de dossiers patients informatisés (DPI), sans données directement identifiantes, portant sur environ 300 000 patients hospitalisés au Beth Israel Deaconess Medical Center de Boston. Il contenait les résultats sanguins, d’imagerie et de microbiologie, les constantes vitales ainsi que les codes diagnostiques des patients. À partir des données disponibles, des médecins ont établi pour chaque patient une liste de diagnostics, ci-après les « diagnostics de référence ». Nous avons ensuite rédigé des consignes précises pour obtenir les prédictions diagnostiques des LLM, puis les avons comparées aux diagnostics de référence sur un échantillon aléatoire de 1000 patients.
Résultats : À partir de la proportion de diagnostics de référence correctement prédits, nous avons estimé le taux de réussite diagnostique de GPT-4 à 93,9 %. PaLM2 a atteint 84,7 % sur le même jeu de données. Sur ces 1000 dossiers patients informatisés sélectionnés au hasard, GPT-4 a correctement identifié 1116 diagnostics distincts.
Conclusion : Les résultats suggèrent que l’intelligence artificielle (IA), utilisée aux côtés des professionnels de santé, pourrait réduire les erreurs cognitives à l’origine de centaines de milliers de diagnostics erronés chaque année. La supervision humaine reste toutefois indispensable : les LLM ne peuvent pas remplacer les professionnels de santé, notamment pour la compréhension humaine et l’empathie. L’intégration de l’IA dans les soins se heurte également à de nombreux obstacles, d’ordre éthique, réglementaire ou liés à la responsabilité juridique.
Health Care Science