النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي للعلاج العضلي
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في استشارة علاج عضلي مدتها 50 دقيقة، وتصدّر بفارق يتجاوز هامش الخطأ. وجاء Heidi ثانيًا وCliniScripts ثالثًا.
الاختبار
الاستشارة جلسة علاجية طويلة لتفاقم ألم مزمن أسفل الظهر وألم في الكتف الأيمن، تنتهي ببرنامج إطالات منزلية ونصائح حول رفع الأحمال. وهي اختبار الإجهاد في الاختبار المعياري، إذ يعمل في الخلفية تلفاز وتُسمع أصوات من غرفة أخرى. سجّلها ستة من الكتبة الطبيين بالذكاء الاصطناعي خمس مرات لكل منهم، وقُيّمت كل ملاحظة تقييمًا معمّى مقابل الحقائق السريرية الـ40 التي قيلت في الاستشارة. نرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، وهو مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الممارس السريري لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. التسجيل والنصوص المفرَّغة والملاحظات وأسباب التقييم متاحة على صفحة الاختبار.
النتائج
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 د 45 ث | 5.2 | 92% | 1.0 | 1.3% |
| 2 | Heidi | 3 د 41 ث+56 ث | 9.6+4.4 | 82%−10% | 0.8 | 3.9%+2.6% |
| 3 | CliniScripts | 4 د 16 ث+1 د 31 ث | 9.0+3.8 | 88%−4% | 2.2+1.2 | 1.1% |
| 4 | Freed | 4 د 40 ث+1 د 54 ث | 6.4+1.2 | 86%−5% | 0.8 | 66.8%+65.6% |
كانت ملاحظة Hanah جاهزة للاعتماد بعد 2 دقيقة و45 ثانية من انتهاء الاستشارة في المتوسط، ولم يتجاوز الفارق بين تشغيلاته الخمسة 7 ثوانٍ. وقد التقطت 92% من الحقائق، بمعدل 5.2 خطأ لكل ملاحظة، وهو الأقل بين جميع الكتبة. واستغرقت مراجعتها وتصحيحها وقتًا أقل بنسبة 71% من كتابة الملاحظة بنفسك.
جاء Heidi ثانيًا بـ3 دقائق و41 ثانية وCliniScripts ثالثًا بـ4 دقائق و16 ثانية. وحقق CliniScripts ثاني أعلى تغطية بنسبة 88%. وجاء Freed رابعًا بـ4 دقائق و40 ثانية، وسجّل ثاني أقل عدد من أخطاء الملاحظة بمعدل 6.4.
وسجّل CliniScripts وHanah أدنى معدلات خطأ الكلمات، 1.1% و1.3%، وهو فرق يقع ضمن هامش الخطأ. ولم تقع لدى أيٍّ منهما كلمة أُسيء سماعها تغيّر المعنى السريري في أي تشغيل.
ما وجدناه
- استخدم Hanah مقدار 13.5 MB من البيانات على مدى الدقائق الخمسين، مقابل 145 MB لـHeidi و132 MB لـCliniScripts.
- تضمنت النصوص المفرَّغة لـFreed مقاطع طويلة لم تكن جزءًا من الاستشارة، مما رفع معدل خطأ الكلمات لديه إلى 66.8%.
- لم تقع لدى Hanah وCliniScripts أي كلمات أُسيء سماعها تغيّر المعنى السريري في أي تشغيل، رغم التلفاز العامل في الخلفية.
- كانت إشارة الهلوسة الوحيدة في كل ملاحظة من ملاحظات Hanah هي نفسها في كل تشغيل: فقد وصف ألم الظهر بأنه تفاقم «ذو نمط ميكانيكي» («mechanical-pattern»)، وهو ما لم يقله المعالج.
تتناول مراجعتنا لـHeidi أداء Heidi في الاستشارات الـ12 كلها، مع جولة مصوّرة بالفيديو.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.