Desafios e soluções no uso de grandes modelos de linguagem para planejar condutas com base em diretrizes e automatizar a codificação médica: desenvolvimento e validação de algoritmos

Este estudo apresenta e avalia 2 métodos baseados em LLMs, implementados na plataforma Rhazes Clinician para enfrentar esses desafios: geração aumentada por recuperação assistida por geração (GARAG), para planejamento automatizado de tratamento baseado em evidências, e busca vetorial assistida por geração (GAVS), para codificação médica automatizada.

Contexto: Erros de diagnóstico e tarefas administrativas, como a codificação médica, continuam entre os grandes desafios da saúde. Grandes modelos de linguagem (LLMs) podem ajudar a reduzi-los, mas sua adoção tem sido limitada por preocupações com confiabilidade, transparência e segurança clínica.

Objetivo: Este estudo apresenta e avalia 2 métodos baseados em LLMs, implementados na plataforma Rhazes Clinician para enfrentar esses desafios: geração aumentada por recuperação assistida por geração (GARAG), para planejar tratamentos com base em evidências de forma automatizada, e busca vetorial assistida por geração (GAVS), para automatizar a codificação médica.

Métodos: GARAG foi avaliado em 21 casos clínicos de teste elaborados por autores com formação médica. Cada caso foi executado 3 vezes de forma independente, e os resultados foram avaliados por 4 critérios: correção das referências, ausência de duplicações, respeito à formatação e adequação clínica do plano de conduta gerado. GAVS foi avaliado em 958 internações selecionadas aleatoriamente na base Medical Information Mart for Intensive Care (MIMIC)–IV, usando como referência os códigos da Classificação Internacional de Doenças, Décima Revisão (ICD-10) utilizados no faturamento. Foram comparadas duas abordagens: o uso direto do GPT-4.1, solicitado a prever códigos ICD-10 sem restrições, e GAVS, em que o GPT-4.1 gerava entidades diagnósticas, cada uma associada aos 10 códigos ICD-10 mais próximos por busca vetorial.

Resultados: Dos 63 resultados, 62 (98,4%) atenderam a todos os critérios de avaliação. A única exceção foi uma pequena inconsistência na ordem dos itens em uma repetição do caso 14. Na avaliação de GAVS, as 958 internações continham 8576 códigos de subcategoria ICD-10 atribuídos, dos quais 1610 eram distintos. O LLM sem recursos adicionais gerou 131.329 códigos candidatos, enquanto GAVS gerou 136.920. No nível de subcategoria, o LLM atingiu recall médio de 17,95% (15,86% ponderado), e GAVS, 20,63% (18,62% ponderado), uma melhora estatisticamente significativa (P<0,001). No nível de categoria, o desempenho foi semelhante (recall médio ponderado de 32,60% contra 32,58%; P=0,99).

Conclusões: GARAG demonstrou um fluxo de trabalho que fundamenta planos de conduta em evidências de diretrizes específicas para cada diagnóstico e revisadas por pares, preservando os detalhes clínicos durante a recuperação das informações. GAVS melhorou significativamente o recall da codificação diagnóstica detalhada em comparação com o uso direto de um LLM. Juntos, os métodos mostram como abordagens baseadas em LLMs podem melhorar o apoio à decisão clínica e a codificação médica. Ambos foram posteriormente integrados ao Rhazes Clinician, uma aplicação web para profissionais de saúde que coordena agentes LLM no uso de ferramentas especializadas, reunidas em uma única interface para médicos. São necessárias validações independentes e estudos em grande escala para confirmar a generalização dos resultados e avaliar seu impacto nos desfechos dos pacientes.

JMIR Biomed Eng 2025;10:e66691

doi:10.2196/66691