# Avaliação rápida de grandes modelos de linguagem no diagnóstico de pacientes com comorbidades: estudo comparativo com o método LLM como avaliador

Publicação científica · 29 de agosto de 2025

Neste estudo, comparamos a capacidade diagnóstica de 18 LLMs do Google, OpenAI, Meta, Mistral, Cohere e Anthropic, usando 3 prompts, 2 configurações de temperatura e 1000 internações selecionadas aleatoriamente da base Medical Information Mart for Intensive Care-IV (MIMIC-IV). Também investigamos como melhorar a taxa de acerto diagnóstico do GPT-4o 05‐13 com geração aumentada por recuperação (RAG), usando os valores de referência do American Board of Internal Medicine.

![](/assets/news-rapid-benchmarking.png)

## Resumo

**Contexto: **Em média, 1 em cada 10 pacientes morre por erro de diagnóstico, e os erros médicos são a terceira principal causa de morte nos Estados Unidos. Embora grandes modelos de linguagem (LLMs) tenham sido propostos para auxiliar médicos no diagnóstico, ainda não foram publicados estudos comparando a capacidade diagnóstica de vários LLMs populares em uma grande coorte de pacientes reais de acesso aberto.

**Objetivo: **Neste estudo, buscamos comparar a capacidade diagnóstica de 18 LLMs da Google, OpenAI, Meta, Mistral, Cohere e Anthropic, usando 3 prompts, 2 configurações de temperatura e 1000 internações selecionadas aleatoriamente na base Medical Information Mart for Intensive Care-IV (MIMIC-IV). Também exploramos como melhorar a taxa de acerto diagnóstico do GPT-4o 05‐13 com geração aumentada por recuperação (RAG), utilizando valores de referência fornecidos pelo American Board of Internal Medicine.

**Métodos: **Avaliamos a capacidade diagnóstica de 21 LLMs com o método LLM como avaliador, uma avaliação automatizada por LLM, usando prontuários da MIMIC-IV que contêm os códigos diagnósticos finais. Em cada caso, um LLM separado atuava como avaliador e comparava os diagnósticos gerados pelo modelo testado com os diagnósticos de referência do prontuário. O avaliador determinava se cada diagnóstico podia ser inferido a partir dos dados disponíveis e, em caso positivo, se havia sido previsto corretamente (acerto) ou não (erro). Diagnósticos que não podiam ser inferidos do prontuário foram excluídos da análise da taxa de acerto. Essa taxa foi definida como o número de acertos dividido pelo total de acertos e erros. A significância estatística das diferenças de desempenho foi avaliada com um teste *z* para proporções com estimativa agrupada.

**Resultados: **Gemini 2.5 teve o melhor desempenho, com taxa de acerto de 97,4% (IC de 95%: 97,0%‐97,8%) na avaliação do GPT-4.1, superando significativamente GPT-4.1, Claude-4 Opus e Claude Sonnet. Porém, o GPT-4.1 ficou em primeiro lugar em outro conjunto de experimentos avaliados pelo GPT-4 Turbo, que tendia a ser menos conservador nas avaliações do que o GPT-4.1. As taxas de acerto diagnóstico variaram significativamente entre os prompts, enquanto mudanças de temperatura tiveram pouco efeito em geral. Por fim, RAG melhorou significativamente a taxa de acerto do GPT-4o 05‐13 em uma média de 0,8% (*P*<0,006).

**Conclusões: **Os resultados são promissores, mas são necessários conjuntos de dados mais diversos, projetos-piloto em hospitais e colaboração próxima com médicos para compreender melhor a capacidade diagnóstica desses modelos.

**JMIRx Med 2025;6:e67661**\

[doi:10.2196/67661](https://doi.org/10.2196/67661)

---

[Voltar às notícias](https://www.rhazes.ai/pt/news/) · [Publicações científicas](https://www.rhazes.ai/pt/publications/)