Évaluer rapidement les grands modèles de langage pour diagnostiquer les patients présentant des comorbidités : étude comparative avec la méthode du LLM évaluateur

Dans cette étude, nous avons cherché à comparer les capacités diagnostiques de 18 LLM de Google, OpenAI, Meta, Mistral, Cohere et Anthropic, avec 3 consignes, 2 réglages de température et 1000 hospitalisations sélectionnées au hasard dans la base Medical Information Mart for Intensive Care-IV (MIMIC-IV). Nous explorons également l’amélioration du taux de réussite diagnostique de GPT-4o 05‐13 par génération augmentée par recherche (RAG), à l’aide des intervalles de référence fournis par l’American Board of Internal Medicine.

Résumé

Contexte : En moyenne, 1 patient sur 10 meurt à cause d’une erreur diagnostique, et les erreurs médicales constituent la troisième cause de décès aux États-Unis. Les grands modèles de langage (LLM) ont été proposés pour aider les médecins à établir des diagnostics. Cependant, aucun résultat publié n’a comparé les capacités diagnostiques de nombreux LLM courants sur une vaste cohorte de patients réels accessible librement.

Objectif : Dans cette étude, nous avons cherché à comparer les capacités diagnostiques de 18 LLM de Google, OpenAI, Meta, Mistral, Cohere et Anthropic, avec 3 consignes, 2 réglages de température et 1000 hospitalisations sélectionnées au hasard dans la base Medical Information Mart for Intensive Care-IV (MIMIC-IV). Nous explorons également l’amélioration du taux de réussite diagnostique de GPT-4o 05‐13 par génération augmentée par recherche (RAG), à l’aide des intervalles de référence fournis par l’American Board of Internal Medicine.

Méthodes : Nous avons évalué les capacités diagnostiques de 21 LLM selon une approche dans laquelle un LLM sert d’évaluateur, ou « juge » (évaluation automatisée par LLM), sur les dossiers patients de MIMIC-IV contenant les codes diagnostiques définitifs. Pour chaque cas, un LLM évaluateur distinct comparait les diagnostics produits par le LLM prédictif aux diagnostics réels du dossier. Il déterminait si chacun de ces diagnostics pouvait être déduit des données disponibles et, dans l’affirmative, s’il avait été correctement prédit (« réussite ») ou non (« échec »). Les diagnostics impossibles à déduire du dossier étaient exclus de l’analyse du taux de réussite. Ce taux correspondait au nombre de réussites divisé par le total des réussites et des échecs. La significativité statistique des écarts de performance entre modèles a été évaluée par un test z de comparaison de proportions avec estimation groupée.

Résultats : Gemini 2.5 a obtenu les meilleurs résultats, avec un taux de réussite de 97,4 % (IC à 95 % : 97,0 %–97,8 %) selon l’évaluation de GPT-4.1, surpassant significativement GPT-4.1, Claude-4 Opus et Claude Sonnet. Toutefois, GPT-4.1 est arrivé en tête dans une série distincte d’expériences évaluées par GPT-4 Turbo, dont les évaluations tendaient à être moins conservatrices que celles de GPT-4.1. Les taux de réussite diagnostique variaient significativement selon les consignes, alors que les changements de température avaient généralement peu d’effet. Enfin, la RAG a significativement amélioré le taux de réussite de GPT-4o 05‐13, de 0,8 % en moyenne (P<0,006).

Conclusions : Malgré ces résultats prometteurs, des jeux de données plus diversifiés, des projets pilotes hospitaliers et une collaboration étroite avec les médecins sont nécessaires pour mieux comprendre les capacités diagnostiques de ces modèles.

JMIRx Med 2025;6:e67661

doi:10.2196/67661