بحث علمي
تقييم منهجي لقدرة GPT-4 وPaLM2 على تشخيص الأمراض المصاحبة لدى مرضى MIMIC-IV
تشير النتائج إلى أن استخدام الذكاء الاصطناعي (AI) إلى جانب الأطباء قد يقلّل الأخطاء المعرفية التي تتسبب في مئات الآلاف من التشخيصات الخاطئة كل عام. وتبقى المراجعة البشرية ضرورية؛ فالنماذج اللغوية الكبيرة لا تستطيع أن تحل محل الأطباء، لا سيما في فهم المريض والتعاطف معه. كما يواجه إدخال الذكاء الاصطناعي في الرعاية الصحية تحديات عديدة تتعلق بالأخلاقيات والمسؤولية القانونية والمتطلبات التنظيمية.
الملخّص
الخلفية: دفعنا ارتفاع معدل أخطاء التشخيص في المستشفيات، بالتزامن مع ظهور النماذج اللغوية الكبيرة (LLMs)، إلى قياس الحساسية التشخيصية لنموذجين شائعين: GPT-4 وPaLM2. وكانت دراسات محدودة النطاق قد أظهرت نتائج واعدة، منها دقة مرتفعة لـGPT-4 في تشخيص حالات اختبار. إلا أن تقدير قدرات هذه النماذج بموثوقية أكبر يتطلب دراسات أوسع تعتمد على بيانات إلكترونية فعلية للمرضى.
المنهجية: لمعالجة هذا النقص في الأبحاث، استخدمنا بيانات سجلات صحية إلكترونية (EHR) لنحو 300,000 مريض أُدخلوا إلى Beth Israel Deaconess Medical Center في بوسطن، بعد إزالة ما يكشف هوياتهم. وشملت البيانات فحوص الدم والتصوير والأحياء الدقيقة والعلامات الحيوية، إلى جانب رموز التشخيص الطبي. وراجع أطباء البيانات المتاحة وحدّدوا لكل مريض مجموعة من التشخيصات اتُخذت مرجعاً للمقارنة. ثم صغنا تعليمات بعناية للحصول على تشخيصات متوقّعة من النماذج اللغوية الكبيرة، وقارنّاها بالتشخيصات المرجعية في عينة عشوائية من 1000 مريض.
النتائج: قدّرنا معدل التشخيص الصحيح لدى GPT-4 بـ93.9%، استناداً إلى نسبة التشخيصات المرجعية التي توصّل إليها بصورة صحيحة. وحقّق PaLM2 معدل 84.7% على البيانات نفسها. ومن خلال السجلات الإلكترونية الـ1000 المختارة عشوائياً، نجح GPT-4 في تحديد 1116 تشخيصاً مختلفاً.
الاستنتاج: تشير النتائج إلى أن استخدام الذكاء الاصطناعي (AI) إلى جانب الأطباء قد يقلّل الأخطاء المعرفية التي تتسبب في مئات الآلاف من التشخيصات الخاطئة كل عام. وتبقى المراجعة البشرية ضرورية؛ فالنماذج اللغوية الكبيرة لا تستطيع أن تحل محل الأطباء، لا سيما في فهم المريض والتعاطف معه. كما يواجه إدخال الذكاء الاصطناعي في الرعاية الصحية تحديات عديدة تتعلق بالأخلاقيات والمسؤولية القانونية والمتطلبات التنظيمية.
Health Care Science