النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي للصحة النفسية
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في استشارة لانخفاض المزاج. وجاء Heidi وLyrebird في أثره مباشرة، والثلاثة جميعًا ضمن هامش الخطأ في الوقت حتى اعتماد الملاحظة. وكان Hanah الأسرع في المتوسط وصاحب أقل عدد من أخطاء الملاحظة.
الاختبار
الاستشارة موعد مع طبيب عام عبر الفيديو من مجموعة PriMock57: مريض يعاني منذ شهرين من انخفاض الطاقة وسوء النوم وضعف الشهية منذ أن بدأ عملًا جديدًا، ولديه تاريخ عائلي للانتحار. سجّلها ستة من الكتبة الطبيين بالذكاء الاصطناعي خمس مرات لكل منهم، وقُيّمت كل ملاحظة تقييمًا معمّى مقابل الحقائق السريرية الـ26 التي قيلت في الاستشارة. نرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، وهو مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الممارس السريري لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. التسجيل والنصوص المفرَّغة والملاحظات وأسباب التقييم متاحة على صفحة الاختبار.
النتائج
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 د 26 ث | 4.2 | 92% | 1.4 | 13.7% |
| 2 | Heidi | 2 د 45 ث+19 ث | 6.8+2.6 | 80%−12% | 0.8 | 13.2% |
| 3 | Lyrebird | 3 د 02 ث+36 ث | 8.0+3.8 | 84%−8% | 2.8+1.4 | 17.8%+4.1% |
| 4 | CliniScripts | 4 د 40 ث+2 د 15 ث | 13.2+9.0 | 65%−27% | 3.2+1.8 | 13.3% |
كانت ملاحظة Hanah جاهزة للاعتماد بعد 2 دقيقة و26 ثانية من انتهاء الاستشارة في المتوسط. وقد التقطت 92% من الحقائق، بمعدل 4.2 خطأ لكل ملاحظة. واستغرقت مراجعتها وتصحيحها وقتًا أقل بنسبة 77% من كتابة الملاحظة بنفسك.
بلغ المتوسط 2 دقيقة و45 ثانية لدى Heidi، و3 دقائق و2 ثانية لدى Lyrebird. واستغرق أبطأ تشغيل لـHanah مدة 2 دقيقة و52 ثانية، في حين استغرق أسرع تشغيل لـHeidi مدة 2 دقيقة و27 ثانية وأسرع تشغيل لـLyrebird مدة 2 دقيقة و26 ثانية، ولهذا نعدّ الثلاثة متقاربين. وسجّل Heidi معدل 6.8 خطأ لكل ملاحظة، وسجّل Lyrebird معدل 8.0. وكان لدى Heidi أقل عدد من إشارات الهلوسة بمعدل 0.8 لكل ملاحظة، مقابل 1.4 لـHanah.
وسجّل Heidi أيضًا أدنى معدل خطأ الكلمات في هذه الاستشارة بنسبة 13.2%، يليه CliniScripts بنسبة 13.3% ثم Hanah بنسبة 13.7%. وكان Lyrebird الأسرع في إنتاج ملاحظته بعد الضغط على زر الإيقاف، غير أن طول مراجعته وضعه في المركز الثالث إجمالًا.
ما وجدناه
- قال المريض إنه لم يُشخَّص سابقًا بأي اضطراب نفسي. ولم تسجّل أيٌّ من الملاحظات الـ30 الصادرة عن الكتبة الستة هذه المعلومة كاملة.
- قال المريض إنه لا يوجد تاريخ عائلي آخر لأي حالات طبية أو نفسية، بما في ذلك الاكتئاب. سجّل Hanah ذلك في كل تشغيل، وHeidi في تشغيلين من خمسة، وLyrebird في تشغيل واحد، ولم يسجّله CliniScripts في أي تشغيل.
- بعد شيء من الأخذ والرد، قال المريض إنه لم يطرأ أي تغيّر على الانتصاب الصباحي لديه. سجّل Hanah ذلك بصورة صحيحة في كل تشغيل، وسجّله Heidi وLyrebird في ثلاثة تشغيلات من خمسة.
تتناول مراجعتنا لـHeidi أداء Heidi في الاستشارات الـ12 كلها، مع جولة مصوّرة بالفيديو.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.