النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي للأمراض الجلدية
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في استشارة عن الإكزيما. وجاء Heidi ثانيًا، ضمن هامش الخطأ في الوقت، وLyrebird ثالثًا.
الاختبار
الاستشارة موعد بالفيديو لدى طبيب عام من مجموعة PriMock57: طفح أحمر مثير للحكة ومؤلم منذ أربعة أيام على الصدر واليدين وباطن المرفقين، كان يُبقي المريض مستيقظًا ليلًا. سجّلها ستة كتبة طبيين بالذكاء الاصطناعي خمس مرات لكل منهم، وقُيّمت كل ملاحظة تقييمًا معمّى في مقابل الحقائق السريرية الـ39 التي قيلت في الاستشارة. ونرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، أي مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الطبيب لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. ويتوفر التسجيل والنصوص المفرَّغة والملاحظات وأسباب التقييم في صفحة الاختبار.
النتائج
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 د 46 ث | 4.6 | 93% | 1.0 | 14.3% |
| 2 | Heidi | 3 د 17 ث+32 ث | 8.0+3.4 | 84%−9% | 0.4 | 16.9%+2.5% |
| 3 | Lyrebird | 4 د 02 ث+1 د 17 ث | 12.0+7.4 | 86%−7% | 3.8+2.8 | 18.7%+4.4% |
| 4 | Freed | 4 د 44 ث+1 د 58 ث | 6.6+2.0 | 89%−4% | 0.6 | 20.3%+5.9% |
| 5 | CliniScripts | 4 د 58 ث+2 د 12 ث | 12.8+8.2 | 74%−18% | 1.0 | 14.9%+0.6% |
كانت ملاحظة Hanah جاهزة للاعتماد في المتوسط بعد دقيقتين و46 ثانية من انتهاء الاستشارة. والتقطت 93% من الحقائق، بمتوسط 4.6 أخطاء في الملاحظة و1.0 إشارة هلوسة لكل ملاحظة. واستغرقت مراجعتها وتصحيحها وقتًا أقل بنسبة 71% من كتابة الملاحظة بنفسك.
وبلغ متوسط Heidi 3 دقائق و17 ثانية. وكان أسرع تشغيلاته، عند دقيقتين و41 ثانية، أسرع من أبطأ تشغيلات Hanah عند دقيقتين و59 ثانية، ما يضع الاثنين ضمن هامش الخطأ في الوقت. وكان Hanah أسرع في المتوسط، والتقط قدرًا أكبر من الاستشارة (93% مقابل 84%)، وسجّل أخطاء أقل في الملاحظة (4.6 مقابل 8.0). وسجّل Heidi أقل عدد من إشارات الهلوسة في هذه الاستشارة بواقع 0.4 لكل ملاحظة.
وجاء Lyrebird ثالثًا بـ4 دقائق وثانيتين، وFreed رابعًا بـ4 دقائق و44 ثانية. وسجّل Freed ثاني أقل عدد من أخطاء الملاحظة بواقع 6.6.
وسجّل Hanah كذلك أدنى معدل لخطأ الكلمات في هذه الاستشارة بنسبة 14.3%، يليه عن قرب CliniScripts بنسبة 14.9%.
النتائج التفصيلية
- أصاب الطفح الصدر واليدين وباطن المرفقين. وسمع Lyrebird كلمة "elbows" (المرفقين) على أنها "eyebrows" (الحاجبين) في النصوص المفرَّغة الخمسة كلها.
- قال المريض إن الطفح لم يظهر على الوجه. وسجّل Hanah ذلك في كل تشغيل، وHeidi في تشغيل واحد من خمسة، وLyrebird في لا شيء منها.
- لم يتمكن المريض من ممارسة المشي في الطبيعة بسبب الطفح. وسجّل Hanah وLyrebird ذلك في كل تشغيل، ولم يسجّله Heidi كاملًا قط.
- كانت معظم إشارات الهلوسة لدى Hanah في هذا الاختبار نفيًا روتينيًا، مثل "الإخراج طبيعي"، لأسئلة لم يطرحها الطبيب قط.
تتناول مراجعتنا لـHeidi أداء Heidi في الاستشارات الاثنتي عشرة كلها، مع جولة مصوّرة بالفيديو.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.