تقييم سريع لقدرات النماذج اللغوية الكبيرة على تشخيص المرضى ذوي الأمراض المصاحبة: دراسة مقارنة باستخدام نموذج لغوي كبير للتحكيم

قارنّا في هذه الدراسة القدرة التشخيصية لـ18 نموذجاً لغوياً كبيراً من Google وOpenAI وMeta وMistral وCohere وAnthropic. استخدمنا ثلاث صيغ للتعليمات وإعدادين لدرجة العشوائية، واختبرنا النماذج على 1000 حالة دخول إلى المستشفى اختيرت عشوائياً من قاعدة بيانات Medical Information Mart for Intensive Care-IV (MIMIC-IV). ودرسنا أيضاً إمكانية رفع معدل التشخيص الصحيح لدى GPT-4o 05‐13 باستخدام التوليد المعزّز بالاسترجاع (RAG)، مع الاستعانة بالقيم المرجعية الصادرة عن American Board of Internal Medicine.

الملخّص

الخلفية: تؤدي أخطاء التشخيص، في المتوسط، إلى وفاة مريض من كل 10 مرضى، وتأتي الأخطاء الطبية في المرتبة الثالثة بين أسباب الوفاة في الولايات المتحدة. وقد اقتُرح استخدام النماذج اللغوية الكبيرة (LLMs) لمساعدة الأطباء في التشخيص، لكن الأبحاث المنشورة لم تقارن بعد القدرات التشخيصية لعدد كبير من النماذج الشائعة على مجموعة واسعة ومتاحة للجميع من بيانات مرضى حقيقيين.

الهدف: قارنّا في هذه الدراسة القدرة التشخيصية لـ18 نموذجاً لغوياً كبيراً من Google وOpenAI وMeta وMistral وCohere وAnthropic. استخدمنا ثلاث صيغ للتعليمات وإعدادين لدرجة العشوائية، واختبرنا النماذج على 1000 حالة دخول إلى المستشفى اختيرت عشوائياً من قاعدة بيانات Medical Information Mart for Intensive Care-IV (MIMIC-IV). ودرسنا أيضاً إمكانية رفع معدل التشخيص الصحيح لدى GPT-4o 05‐13 باستخدام التوليد المعزّز بالاسترجاع (RAG)، مع الاستعانة بالقيم المرجعية الصادرة عن American Board of Internal Medicine.

المنهجية: اختبرنا القدرة التشخيصية لـ21 نموذجاً لغوياً كبيراً على سجلات مرضى MIMIC-IV، التي تتضمن رموز التشخيص النهائية. واعتمد التقييم على نموذج لغوي كبير يتولّى التحكيم آلياً. ففي كل حالة، قارن نموذج مقيّم مستقل («الحَكَم») التشخيصات التي اقترحها النموذج المختبَر بالتشخيصات الفعلية في سجل المريض. وحدّد أولاً ما إذا كانت البيانات المتاحة تكفي لاستنتاج كل تشخيص فعلي، ثم ما إذا كان النموذج قد توصّل إليه بصورة صحيحة («إصابة») أم أغفله («إخفاق»). واستُبعدت من التحليل التشخيصات التي لا يمكن استنتاجها من السجل. وحُسب معدل التشخيص الصحيح بقسمة عدد الإصابات على مجموع الإصابات والإخفاقات. واستخدمنا اختبار z للنسب، بتقدير مجمّع، لتحديد الدلالة الإحصائية للفروق بين النماذج.

النتائج: تصدّر Gemini 2.5 النتائج وفق تقييم GPT-4.1، إذ بلغ معدل التشخيص الصحيح لديه 97.4% (فاصل ثقة 95%: ‏97.0%‐97.8%)، متفوّقاً بفارق ذي دلالة إحصائية على GPT-4.1 وClaude-4 Opus وClaude Sonnet. في المقابل، جاء GPT-4.1 أولاً في مجموعة أخرى من التجارب التي قيّمها GPT-4 Turbo، وكان الأخير أقل تحفّظاً في تقييماته من GPT-4.1. وتفاوتت معدلات التشخيص الصحيح بدرجة كبيرة باختلاف صيغة التعليمات، بينما كان أثر تغيير درجة العشوائية محدوداً في الغالب. كما أدّى استخدام RAG إلى تحسين معدل التشخيص الصحيح لدى GPT-4o 05‐13 بمتوسط 0.8%، بفارق ذي دلالة إحصائية (P<.006).

الاستنتاجات: النتائج واعدة، لكن فهم القدرات التشخيصية لهذه النماذج بصورة أدق يستلزم اختبارها على بيانات أكثر تنوّعاً، وإجراء تجارب تطبيقية في المستشفيات، والعمل عن قرب مع الأطباء.

JMIRx Med 2025;6:e67661

doi:10.2196/67661