النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي لطب المسالك البولية
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في استشارة لأعراض المسالك البولية. وجاء Lyrebird وHeidi متقاربين في المركزين الثاني والثالث.
الاختبار
الاستشارة موعد مع طبيب عام عبر الفيديو من مجموعة PriMock57: ستة أيام من التبوّل المؤلم، وبول كريه الرائحة، ودم في البول، وألم في وسط أسفل البطن، لدى مريض لديه حساسية من أحد المضادات الحيوية. سجّلها ستة من الكتبة الطبيين بالذكاء الاصطناعي خمس مرات لكل منهم، وقُيّمت كل ملاحظة تقييمًا معمّى مقابل الحقائق السريرية الـ42 التي قيلت في الاستشارة. نرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، وهو مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الممارس السريري لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. التسجيل والنصوص المفرَّغة والملاحظات وأسباب التقييم متاحة على صفحة الاختبار.
النتائج
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 د 25 ث | 5.0 | 93% | 1.2 | 8.8% |
| 2 | Lyrebird | 3 د 34 ث+1 د 09 ث | 10.4+5.4 | 88%−5% | 3.2+2.0 | 10.6%+1.8% |
| 3 | Heidi | 3 د 39 ث+1 د 14 ث | 11.4+6.4 | 78%−16% | 0.8 | 10.4%+1.6% |
| 4 | CliniScripts | 4 د 17 ث+1 د 52 ث | 12.2+7.2 | 75%−18% | 0.6 | 8.8% |
كانت ملاحظة Hanah جاهزة للاعتماد بعد 2 دقيقة و25 ثانية من انتهاء الاستشارة في المتوسط. وقد التقطت 93% من الحقائق، بمعدل 5.0 أخطاء لكل ملاحظة. واستغرقت مراجعتها وتصحيحها وقتًا أقل بنسبة 74% من كتابة الملاحظة بنفسك.
بلغ المتوسط 3 دقائق و34 ثانية لدى Lyrebird، و3 دقائق و39 ثانية لدى Heidi. وكان أسرع تشغيل لـHeidi، البالغ 2 دقيقة و52 ثانية، أسرع من أبطأ تشغيل لـHanah البالغ 2 دقيقة و57 ثانية، وهو ما يضع Heidi ضمن هامش الخطأ في الوقت. وكان Hanah أسرع في المتوسط، وسجّل أقل من نصف أخطاء الملاحظة لدى كل منهما، أي 5.0 مقابل 10.4 لـLyrebird و11.4 لـHeidi. وحقق Lyrebird ثاني أعلى تغطية بنسبة 88%.
وسجّل Hanah أدنى معدل خطأ الكلمات في هذه الاستشارة بنسبة 8.8%، متساويًا مع CliniScripts. ولم تتضمن النصوص المفرَّغة لـHanah أي كلمات أُسيء سماعها تغيّر المعنى السريري في أي تشغيل.
ما وجدناه
- قال الطبيب إن هذه العدوى يمكن علاجها دون فحص البول. ولم تسجّل ذلك أيٌّ من الملاحظات الـ30 الصادرة عن الكتبة الستة.
- يتناول المريض دواء الميبيفرين (mebeverine). وأساء كل كاتب آخر سماع اسم الدواء في تشغيل واحد على الأقل، وسمعه أحدهم على أنه «heparin» (الهيبارين)، فأدرج الهيبارين، وهو مضاد للتخثر، ضمن أدوية المريض في كل ملاحظة.
- أُرسلت الوصفة الطبية إلى الصيدلية التي اختارها المريض، على أن يبدأ العلاج في أقرب وقت ممكن. سجّل Hanah ذلك كاملًا في كل تشغيل، وسجّل Heidi جزءًا منه في كل تشغيل.
تتناول مراجعتنا لـHeidi أداء Heidi في الاستشارات الـ12 كلها، مع جولة مصوّرة بالفيديو.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.