النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي لعلاج الألم
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في إملاء خاص بعلاج الألم. تقارب الكتبة المتصدّرون في الدقة، وتقع عدة فروق هنا ضمن هامش الخطأ، لكن Hanah قدّم أسرع ملاحظة جاهزة للاعتماد والتقط كل حقيقة في كل تشغيل.
الاختبار
الاختبار ملخص قصير مُملى من عيادة ألم لامرأة تبلغ 55 عامًا تعاني ألمًا أسفل الظهر وخدرًا في الساق اليسرى، ويُظهر تصويرها بالرنين المغناطيسي تضيّقًا في الثقبة الفقرية عند مستوى L4-5، مع خطة لحقن الستيرويد فوق الجافية في المنطقة القطنية. سجّله ستة من الكتبة الطبيين بالذكاء الاصطناعي خمس مرات لكل منهم، وقُيّمت كل ملاحظة تقييمًا معمّى مقابل الحقائق السريرية الـ12 الواردة في الإملاء. نرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، وهو مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الممارس السريري لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. لم يُتحقَّق بعدُ من النص المرجعي كلمةً كلمةً مقابل التسجيل الصوتي، ولذا فإن معدلات خطأ الكلمات المستندة إليه مؤقتة. التسجيل والنصوص المفرَّغة والملاحظات وأسباب التقييم متاحة على صفحة الاختبار.
النتائج
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات (مؤقت) |
|---|---|---|---|---|---|---|
| 1 | Hanah | 42 ث | 1.0 | 100% | 1.0 | 7.9% |
| 2 | Lyrebird | 54 ث+12 ث | 1.4+0.4 | 92%−8% | 0.4 | 7.0% |
| 3 | CliniScripts | 59 ث+18 ث | 1.4+0.4 | 92%−8% | 0.4 | 6.7% |
| 5 | PatientNotes | 1 د 02 ث+20 ث | 0.8 | 99%−1% | 0.6 | 12.3%+4.4% |
كانت ملاحظة Hanah جاهزة للاعتماد بعد 42 ثانية من انتهاء الإملاء في المتوسط، واستغرقت مراجعتها 33 ثانية. وقد التقطت 100% من الحقائق في التشغيلات الخمسة كلها. وحملت كل ملاحظة من ملاحظات Hanah إشارة هلوسة واحدة، فبلغت أخطاء الملاحظة لديه 1.0 لكل ملاحظة.
جاء Lyrebird ثانيًا بـ54 ثانية وCliniScripts ثالثًا بـ59 ثانية. وسجّل كلاهما 1.4 خطأ لكل ملاحظة وتغطية بنسبة 92%. وتفوّق أسرع تشغيل لـCliniScripts، البالغ 39 ثانية، على متوسط Hanah، ولم تحتج ملاحظة واحدة من كل خمس ملاحظات لـCliniScripts إلى أي تحرير على الإطلاق.
وسجّل PatientNotes أقل عدد من أخطاء الملاحظة في هذا الإملاء بمعدل 0.8 لكل ملاحظة، ولم تحتج ملاحظتان من ملاحظاته الخمس إلى أي تحرير. والفرق بينه وبين معدل Hanah البالغ 1.0 يقع ضمن هامش الخطأ، وقد استغرق PatientNotes مدة 1 دقيقة و2 ثانية حتى اعتماد الملاحظة.
وسجّل CliniScripts أدنى معدل خطأ كلمات مؤقت بنسبة 6.7%، يليه Lyrebird بنسبة 7.0% ثم Hanah بنسبة 7.9%.
ما وجدناه
- يذكر الإملاء عرق المريضة. سجّله Hanah وPatientNotes في كل تشغيل، وCliniScripts في تشغيل واحد من خمسة، ولم يسجّله Lyrebird في أي تشغيل.
- كانت إشارة الهلوسة الوحيدة في كل ملاحظة من ملاحظات Hanah هي نفسها في كل تشغيل: فقد ربط نتيجة الرنين المغناطيسي بأعراض الساق اليسرى، وهو ربط لا يرد في الإملاء.
- لم تقع لدى Hanah وCliniScripts وLyrebird أي كلمات أُسيء سماعها تغيّر المعنى السريري. أما كتبة آخرون فقد شوّهوا عبارة «foraminal stenosis» (تضيّق الثقبة الفقرية) وكلمة «extremity» (الطرف).
- استخدم Hanah مقدار 2.5 MB من البيانات لهذا الإملاء، وهو الأقل بين جميع الكتبة.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.