Schneller Leistungsvergleich großer Sprachmodelle bei der Diagnose von Patienten mit Begleiterkrankungen: Vergleichsstudie mit einem Sprachmodell als Bewertungsinstanz

In dieser Studie verglichen wir die diagnostischen Fähigkeiten von 18 großen Sprachmodellen von Google, OpenAI, Meta, Mistral, Cohere und Anthropic. Dafür nutzten wir drei Prompts, zwei Temperatureinstellungen und 1000 zufällig ausgewählte Krankenhausaufenthalte aus Medical Information Mart for Intensive Care-IV (MIMIC-IV). Zudem untersuchten wir, ob Retrieval-Augmented Generation (RAG) mit Referenzbereichen des American Board of Internal Medicine die diagnostische Trefferquote von GPT-4o 05‐13 verbessert.

Zusammenfassung

Hintergrund: Im Durchschnitt stirbt 1 von 10 Patienten aufgrund eines Diagnosefehlers. Medizinische Fehler sind in den USA die dritthäufigste Todesursache. Große Sprachmodelle (LLMs) wurden als Hilfe bei der ärztlichen Diagnostik vorgeschlagen. Bislang liegen jedoch keine veröffentlichten Forschungsergebnisse vor, die die diagnostischen Fähigkeiten vieler verbreiteter LLMs anhand einer großen, frei zugänglichen Kohorte realer Patienten vergleichen.

Ziel: In dieser Studie verglichen wir die diagnostischen Fähigkeiten von 18 großen Sprachmodellen von Google, OpenAI, Meta, Mistral, Cohere und Anthropic. Dafür nutzten wir drei Prompts, zwei Temperatureinstellungen und 1000 zufällig ausgewählte Krankenhausaufenthalte aus Medical Information Mart for Intensive Care-IV (MIMIC-IV). Zudem untersuchten wir, ob Retrieval-Augmented Generation (RAG) mit Referenzbereichen des American Board of Internal Medicine die diagnostische Trefferquote von GPT-4o 05‐13 verbessert.

Methoden: Wir untersuchten die diagnostischen Fähigkeiten von 21 LLMs anhand von MIMIC-IV-Patientenakten mit abschließenden Diagnosecodes. Dafür nutzten wir den Ansatz „LLM als Bewertungsinstanz“, also eine automatisierte, LLM-basierte Bewertung. Für jeden Fall verglich ein separates bewertendes LLM („Prüfer“) die Diagnosevorschläge des getesteten Modells mit den tatsächlichen Diagnosen aus der Patientenakte. Es prüfte, ob sich die jeweilige tatsächliche Diagnose aus den verfügbaren Daten ableiten ließ und, falls ja, ob sie korrekt vorhergesagt wurde („Treffer“) oder unerkannt blieb („kein Treffer“). Nicht aus der Akte ableitbare Diagnosen wurden aus der Auswertung der Trefferquote ausgeschlossen. Die berichtete Trefferquote entsprach der Zahl der Treffer geteilt durch die Summe aus Treffern und nicht erkannten Diagnosen. Die statistische Signifikanz der Leistungsunterschiede wurde mit einem gepoolten z-Test für Anteilswerte geprüft.

Ergebnisse: Nach der Bewertung durch GPT-4.1 erzielte Gemini 2.5 mit 97,4 % die höchste Trefferquote (95%-Konfidenzintervall: 97,0 %‐97,8 %) und war GPT-4.1, Claude-4 Opus und Claude Sonnet signifikant überlegen. In einer separaten Versuchsreihe mit GPT-4 Turbo als Bewertungsinstanz lag dagegen GPT-4.1 vorn. GPT-4 Turbo bewertete tendenziell weniger zurückhaltend als GPT-4.1. Die diagnostischen Trefferquoten unterschieden sich je nach Prompt deutlich, während Änderungen der Temperatur meist wenig bewirkten. RAG erhöhte die Trefferquote von GPT-4o 05‐13 schließlich signifikant um durchschnittlich 0,8 % (P<0,006).

Schlussfolgerungen: Die Ergebnisse sind vielversprechend. Für ein besseres Verständnis der diagnostischen Fähigkeiten dieser Modelle sind jedoch vielfältigere Datensätze, Pilotprojekte in Krankenhäusern und eine enge Zusammenarbeit mit Ärzten erforderlich.

JMIRx Med 2025;6:e67661

doi:10.2196/67661