دراسة حديثة.. تشات جي بي تي يعمل بشكل سيئ في إمتحان التقييم الذاتي لأطباء المسالك البولية

أظهرت دراسة جديدة، أن روبوت الدردشة "تشات جي بي تي"، يعمل بشكل سيئ في إمتحان التقييم الذاتي لأطباء المسالك البولية.

في وقت يتزايد فيه الاهتمام بالدور المحتمل لتقنية الذكاء الاصطناعي في الطب والرعاية الصحية، وجدت دراسة جديدة نُشرت في العدد الأخير من دورية " طب المسالك البولية"، أن روبوت الدردشة "تشات جي بي تي"، يعمل بشكل سيئ في إمتحان التقييم الذاتي لأطباء المسالك البولية.

وحقق "تشات جي بي تي" أقل من 30 في المائة من معدل الإجابات الصحيحة على أسئلة اختبار التقييم الذاتي الذي تجريه جمعية المسالك البولية الأميركية.

وتوفر التطورات الحديثة في نماذج اللغات الكبيرة LLMs) )، فرصا لتكييف تقنية الذكاء الاصطناعي كأداة للتوسط في التفاعل البشري، فمن خلال التدريب والتطبيق المناسبين، يمكن لهذه الأنظمة من الذكاء الاصطناعي معالجة المعلومات المعقدة، وتحليل العلاقات بين الأفكار، وإنشاء ردود متماسكة على الاستفسارات.

و"تشات جي بي تي"، عبارة عن روبوت محادثة ينتمي لنماذج اللغات الكبيرة، وقد آثار اهتماما بإمكانية استخدامه في مجموعة واسعة من التطبيقات بما في ذلك الصحة والطب.

وفي إحدى الدراسات الحديثة، سجل (تشات جي بي تي) درجات النجاح أو بالقرب منها في جميع الخطوات الثلاث لاختبار الترخيص الطبي للولايات المتحدة (USMLE)، دون أي تدريب خاص أو ملاحظات حول الموضوعات الطبية، فهل يمكن أن تؤدي هذه الأداة المبتكرة المدربة على الذكاء الاصطناعي أداء جيدا بالمثل في اختبار أكثر تقدما للمعرفة السريرية في التخصص الجراحي؟

لمعرفة ذلك، قام كريستوفر ديبرت، من جامعة مركز نبراسكا الطبي بأميركا وزملاؤه، بتقييم أداء "تشات جي بي تي" في برنامج دراسة التقييم الذاتي التابع لجمعية المسالك البولية الأميركية، وهو اختبار تدريبي مكون من 150 سؤالا يتناول المنهج الأساسي للمعرفة الطبية في طب المسالك البولية.

ويقيم هذا الاختبار المعرفة السريرية لأطباء المسالك البولية لتدريب المتخصصين الذين يستعدون للحصول على شهادة البورد، واستبعدت الدراسة 15 سؤالاً تحتوي على معلومات مرئية مثل الصور أو الرسوم البيانية.

كانت درجات "تشات جي بي تي" منخفضة، وبشكل عام، أعطى إجابات صحيحة لأقل من 30 في المائة من الأسئلة، وكانت اجاباته الصحيحة على أسئلة الاختيار من متعدد 28.2 في المائة و 26.7 في المائة على الأسئلة المفتوحة، وقدم ردود "غير محددة" على عدة أسئلة.

وبالنسبة لمعظم الأسئلة المفتوحة، قدم شرحا للإجابة المحددة، وكانت التفسيرات التي قدمها (تشات جي بي تي) زائدة عن الحاجة في كثير من الأحيان.

وتتناقض دقة (تشات جي بي تي) الضعيفة على أسئلة امتحان التقييم الذاتي للأطباء المسالك البولية، مع أدائه في امتحانات مستوى الدراسات العليا الأخرى، ويقترح الباحثون أنه على الرغم من أنه قد يكون جيدا في الاختبارات التي تتطلب استدعاء الحقائق، إلا أنه يبدو أنه ضعيف في الأسئلة المتعلقة بالطب السريري، والتي تتطلب "الموازنة المتزامنة للحقائق والمواقف والنتائج المتعددة المتداخلة".

واستنتج ديبرت وزملاؤه أن: "هناك حاجة إلى مزيد من البحث لفهم حدود وقدرات (تشات جي بي تي) عبر تخصصات متعددة قبل إتاحته للاستخدام العام، فاستخدامه على سبيل المثال في مجال جراحة المسالك البولية، كما أظهرنا في الدراسة، قد يسهل انتشار المعلومات الطبية الخاطئة للمستخدمين غير المدربين".

للمزيد: موقع خليجيون نيوز، للتواصل الاجتماعي تابعنا على خليجيون