النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي لأمراض الجهاز الهضمي
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في استشارة عن التهاب المعدة والأمعاء. وجاء Heidi ثانيًا، بفارق صغير يقع ضمن هامش الخطأ، وLyrebird ثالثًا.
الاختبار
الاستشارة موعد بالفيديو لدى طبيب عام من مجموعة PriMock57: إسهال مائي منذ ثلاثة أيام مع ألم تقلّصي في أسفل البطن، بعد مرض أصاب أفراد الأسرة. سجّلها ستة كتبة طبيين بالذكاء الاصطناعي خمس مرات لكل منهم، وقُيّمت كل ملاحظة تقييمًا معمّى في مقابل الحقائق السريرية الـ45 التي قيلت في الاستشارة. ونرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، أي مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الطبيب لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. ويتوفر التسجيل والنصوص المفرَّغة والملاحظات وأسباب التقييم في صفحة الاختبار.
النتائج
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 د 16 ث | 2.8 | 96% | 0.2 | 15.2% |
| 2 | Heidi | 3 د 19 ث+1 د 03 ث | 9.6+6.8 | 83%−12% | 1.6+1.4 | 16.0%+0.8% |
| 3 | Lyrebird | 3 د 51 ث+1 د 36 ث | 11.6+8.8 | 83%−12% | 3.4+3.2 | 20.0%+4.9% |
| 4 | Freed | 4 د 17 ث+2 د 01 ث | 6.0+3.2 | 91%−5% | 0.8+0.6 | 21.4%+6.3% |
كانت ملاحظة Hanah جاهزة للاعتماد في المتوسط بعد دقيقتين و16 ثانية من انتهاء الاستشارة. والتقطت 96% من الحقائق، بمتوسط 2.8 خطأ في الملاحظة و0.2 إشارة هلوسة لكل ملاحظة. واستغرقت مراجعتها وتصحيحها وقتًا أقل بنسبة 77% من كتابة الملاحظة بنفسك.
وبلغ متوسط Heidi 3 دقائق و19 ثانية. وكان أسرع تشغيلاته، عند دقيقتين و9 ثوانٍ، أسرع من أبطأ تشغيلات Hanah عند دقيقتين و30 ثانية، ما يضع الاثنين ضمن هامش الخطأ في الوقت. وكان Hanah أسرع في المتوسط، وسجّل أقل من ثلث أخطاء الملاحظة لدى Heidi، 2.8 مقابل 9.6.
وجاء Lyrebird ثالثًا بـ3 دقائق و51 ثانية، وFreed رابعًا بـ4 دقائق و17 ثانية. وسجّل Freed ثاني أقل عدد من أخطاء الملاحظة بواقع 6.0 وثاني أعلى تغطية بنسبة 91%، لكنه استغرق وقتًا أطول لإنتاج ملاحظته.
وسجّل Hanah كذلك أدنى معدل لخطأ الكلمات في هذه الاستشارة بنسبة 15.2%، يليه Heidi بنسبة 16.0%.
النتائج التفصيلية
- أوصى الطبيب بأكياس Dioralyte لتعويض السوائل. وكتب Hanah اسم Dioralyte صحيحًا في النصوص المفرَّغة الخمسة كلها، وأخطأ فيه كل كاتب آخر في كل تشغيل.
- قال المريض إن الإسهال "makes me feel weak" (يُشعرني بالضعف). وفرّغها Lyrebird على أنها "fainted for a week" (أُغمي عليّ لمدة أسبوع) في التشغيلات الخمسة كلها، وإن لم يصل الخطأ إلى ملاحظاته.
- نصح الطبيب بالباراسيتامول، "قرصان حتى أربع مرات يوميًا"، دون أن يحدد التركيز. فكتب كلٌّ من Heidi وLyrebird جرعة بالمليغرام في بعض ملاحظاتهما، وهو ما يُحتسب إشارة هلوسة.
- قال الطبيب إن المضادات الحيوية غير لازمة. وسجّل Hanah وLyrebird ذلك في أربعة من خمسة تشغيلات، وأغفله Heidi في التشغيلات الخمسة كلها.
تتناول مراجعتنا لـHeidi أداء Heidi في الاستشارات الاثنتي عشرة كلها، مع جولة مصوّرة بالفيديو.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.