Wissenschaftliche Publikation
Systematische Bewertung von GPT-4 und PaLM2 bei der Diagnose von Begleiterkrankungen bei Patienten aus MIMIC-IV
Die Ergebnisse deuten darauf hin, dass künstliche Intelligenz (KI) im Zusammenspiel mit Ärzten kognitive Fehler verringern kann, die jedes Jahr Hunderttausende Fehldiagnosen verursachen. Menschliche Kontrolle bleibt jedoch unverzichtbar: Große Sprachmodelle können medizinische Fachkräfte nicht ersetzen, insbesondere wenn menschliches Verständnis und Empathie gefragt sind. Hinzu kommen zahlreiche Herausforderungen beim Einsatz von KI im Gesundheitswesen, darunter ethische, haftungsrechtliche und regulatorische Hürden.
Zusammenfassung
Hintergrund: Angesichts der auffallend hohen Rate an Diagnosefehlern in Krankenhäusern und der jüngsten Entwicklung großer Sprachmodelle (LLMs) untersuchten wir die diagnostische Sensitivität zweier verbreiteter Modelle: GPT-4 und PaLM2. Kleinere Studien zu den diagnostischen Fähigkeiten von LLMs zeigten vielversprechende Ergebnisse; GPT-4 diagnostizierte Testfälle mit hoher Genauigkeit. Für verlässlichere Schätzungen sind jedoch größere Untersuchungen mit realen elektronischen Patientendaten nötig.
Methoden: Um diese Forschungslücke zu schließen, nutzten wir einen Datensatz aus elektronischen Patientenakten (EHR) von etwa 300.000 Patienten, die im Beth Israel Deaconess Medical Center in Boston aufgenommen worden waren. Identifizierende Angaben waren entfernt worden. Der Datensatz enthielt Blutuntersuchungen, Bildgebung, mikrobiologische Befunde, Vitalparameter und medizinische Diagnosecodes. Ärzte stellten anhand der verfügbaren EHR-Daten für jeden Patienten eine Reihe von Diagnosen zusammen, die im Folgenden als Referenzdiagnosen dienen. Anschließend formulierten wir sorgfältig Prompts, mit denen die LLMs Diagnosen vorhersagen sollten, und verglichen diese in einer Zufallsstichprobe von 1000 Patienten mit den Referenzdiagnosen.
Ergebnisse: Aus dem Anteil korrekt vorhergesagter Referenzdiagnosen schätzten wir die diagnostische Trefferquote von GPT-4 auf 93,9 %. PaLM2 erreichte mit demselben Datensatz 84,7 %. In diesen 1000 zufällig ausgewählten elektronischen Patientenakten identifizierte GPT-4 insgesamt 1116 verschiedene Diagnosen korrekt.
Schlussfolgerung: Die Ergebnisse deuten darauf hin, dass künstliche Intelligenz (KI) im Zusammenspiel mit Ärzten kognitive Fehler verringern kann, die jedes Jahr Hunderttausende Fehldiagnosen verursachen. Menschliche Kontrolle bleibt jedoch unverzichtbar: Große Sprachmodelle können medizinische Fachkräfte nicht ersetzen, insbesondere wenn menschliches Verständnis und Empathie gefragt sind. Hinzu kommen zahlreiche Herausforderungen beim Einsatz von KI im Gesundheitswesen, darunter ethische, haftungsrechtliche und regulatorische Hürden.
Health Care Science