Publicação científica
Avaliação sistemática do desempenho do GPT-4 e do PaLM2 no diagnóstico de comorbidades em pacientes da base MIMIC-IV
Os resultados sugerem que a inteligência artificial (IA), trabalhando junto com profissionais de saúde, pode reduzir os erros cognitivos que causam centenas de milhares de diagnósticos incorretos todos os anos. A supervisão humana da IA, porém, continua essencial: os LLMs não substituem os profissionais, sobretudo na compreensão humana e na empatia. Além disso, ainda existem muitos desafios para incorporar IA à saúde, incluindo barreiras éticas, de responsabilidade e regulatórias.
Resumo
Contexto: Diante da alta taxa de erros diagnósticos em hospitais e do recente desenvolvimento de grandes modelos de linguagem (LLMs), buscamos medir a sensibilidade diagnóstica de dois modelos populares: GPT-4 e PaLM2. Estudos de pequena escala sobre a capacidade diagnóstica de LLMs mostraram resultados promissores, com alta precisão do GPT-4 no diagnóstico de casos de teste. No entanto, são necessárias avaliações maiores com dados reais de prontuários eletrônicos para obter estimativas mais confiáveis.
Métodos: Para preencher essa lacuna na literatura, utilizamos um conjunto desidentificado de dados de prontuários eletrônicos (EHR) de cerca de 300.000 pacientes internados no Beth Israel Deaconess Medical Center, em Boston. A base continha resultados de exames de sangue, imagem e microbiologia, sinais vitais e códigos diagnósticos. Com base nos dados disponíveis, médicos organizaram um conjunto de diagnósticos para cada paciente, aqui denominados diagnósticos de referência. Em seguida, elaboramos prompts cuidadosamente para obter previsões diagnósticas dos LLMs e as comparamos com os diagnósticos de referência em uma amostra aleatória de 1000 pacientes.
Resultados: Com base na proporção de diagnósticos de referência previstos corretamente, estimamos a taxa de acerto diagnóstico do GPT-4 em 93,9%. PaLM2 atingiu 84,7% no mesmo conjunto de dados. Nesses 1000 prontuários eletrônicos selecionados aleatoriamente, o GPT-4 identificou corretamente 1116 diagnósticos distintos.
Conclusão: Os resultados sugerem que a inteligência artificial (IA), trabalhando junto com profissionais de saúde, pode reduzir erros cognitivos que levam a centenas de milhares de diagnósticos incorretos todos os anos. A supervisão humana da IA, porém, continua essencial: LLMs não podem substituir profissionais de saúde, sobretudo no que diz respeito à compreensão humana e à empatia. Além disso, ainda existem muitos desafios para incorporar IA à saúde, incluindo barreiras éticas, regulatórias e de responsabilidade jurídica.
Health Care Science