النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي لطب الأعصاب
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في استشارة للاشتباه بنوبة إقفارية عابرة (TIA). وجاء Heidi ثانيًا، ضمن هامش الخطأ في الوقت، وLyrebird ثالثًا.
الاختبار
الاستشارة موعد مع طبيب عام عبر الفيديو من مجموعة PriMock57: مريض يعاني نوبات من الوخز والخدر في اليد اليمنى، مع ضعف في الذراع والساق اليمنيين، تأتي وتذهب على مدى بضعة أيام. سجّلها ستة من الكتبة الطبيين بالذكاء الاصطناعي خمس مرات لكل منهم، وقُيّمت كل ملاحظة تقييمًا معمّى مقابل الحقائق السريرية الـ46 التي قيلت في الاستشارة. نرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، وهو مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الممارس السريري لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. التسجيل والنصوص المفرَّغة والملاحظات وأسباب التقييم متاحة على صفحة الاختبار.
النتائج
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 3 د 41 ث | 5.4 | 94% | 0.8 | 9.1% |
| 2 | Heidi | 5 د 07 ث+1 د 27 ث | 11.8+6.4 | 79%−15% | 0.4 | 10.8%+1.7% |
| 3 | Lyrebird | 6 د 09 ث+2 د 28 ث | 14.6+9.2 | 82%−12% | 3.6+2.8 | 15.1%+6.0% |
| 4 | CliniScripts | 6 د 12 ث+2 د 32 ث | 12.2+6.8 | 80%−14% | 1.4+0.6 | 8.7% |
كانت ملاحظة Hanah جاهزة للاعتماد بعد 3 دقائق و41 ثانية من انتهاء الاستشارة في المتوسط. وقد التقطت 94% من الحقائق، بمعدل 5.4 خطأ لكل ملاحظة. واستغرقت مراجعتها وتصحيحها وقتًا أقل بنسبة 62% من كتابة الملاحظة بنفسك.
بلغ المتوسط لدى Heidi مدة 5 دقائق و7 ثوانٍ. وتفوّق أسرع تشغيل له، البالغ 3 دقائق و50 ثانية، على أبطأ تشغيل لـHanah البالغ 3 دقائق و51 ثانية، وهو ما يضع الاثنين ضمن هامش الخطأ في الوقت. وكان Hanah أسرع في المتوسط، وسجّل أقل من نصف أخطاء الملاحظة لدى Heidi، أي 5.4 مقابل 11.8. وكان لدى Heidi أقل عدد من إشارات الهلوسة بمعدل 0.4 لكل ملاحظة، مقابل 0.8 لـHanah.
وجاء Lyrebird ثالثًا بـ6 دقائق و9 ثوانٍ، وCliniScripts رابعًا بـ6 دقائق و12 ثانية. وسجّل CliniScripts أدنى معدل خطأ الكلمات في هذه الاستشارة بنسبة 8.7%، يليه Hanah بنسبة 9.1%.
ما وجدناه
- انقطع الفيديو أثناء المكالمة، ولم يتمكن الطبيب من رؤية المريض، ولم يُجرَ أي فحص. سجّل Hanah ذلك في كل تشغيل، ولم يسجّله Heidi كاملًا قط.
- كان المريض قد بدأ تناول الأسبرين من تلقاء نفسه بعد أن قرأ عنه على الإنترنت. سجّل Hanah ذلك في كل تشغيل، ولم يسجّله Lyrebird إلا جزئيًا في كل تشغيل.
- قال المريض إنه لائق وبصحة جيدة فيما عدا ذلك. سجّل Hanah ذلك في كل تشغيل، في حين أغفله Heidi وCliniScripts في كل تشغيل.
- سمع Lyrebird كلمة «asthma» (الربو) على أنها «acne» (حب الشباب) في أربعة من خمسة نصوص مفرَّغة.
تتناول مراجعتنا لـHeidi أداء Heidi في الاستشارات الـ12 كلها، مع جولة مصوّرة بالفيديو.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.