النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي لطب الحساسية والمناعة
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في استشارة لتفاعل تحسسي، وتصدّر بفارق يتجاوز هامش الخطأ. وجاء Heidi ثانيًا وCliniScripts ثالثًا.
الاختبار
الاستشارة موعد مع طبيب عام عبر الفيديو من مجموعة PriMock57: مريض شاب بدأت شفته العليا تتورّم بعد تناوله طبق لاكسا بالروبيان، فيتعامل الطبيب مع الحالة على أنها اشتباه بالتأق ويرسله إلى المستشفى بسيارة إسعاف. سجّلها ستة من الكتبة الطبيين بالذكاء الاصطناعي خمس مرات لكل منهم، وقُيّمت كل ملاحظة تقييمًا معمّى مقابل الحقائق السريرية الـ30 التي قيلت في الاستشارة. نرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، وهو مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الممارس السريري لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. التسجيل والنصوص المفرَّغة والملاحظات وأسباب التقييم متاحة على صفحة الاختبار.
النتائج
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 د 54 ث | 6.8 | 85% | 1.0 | 15.1% |
| 2 | Heidi | 4 د 44 ث+1 د 50 ث | 14.2+7.4 | 73%−12% | 3.4+2.4 | 14.2% |
| 3 | CliniScripts | 4 د 52 ث+1 د 58 ث | 12.6+5.8 | 73%−12% | 2.2+1.2 | 18.3%+3.3% |
| 4 | Freed | 5 د 21 ث+2 د 27 ث | 10.6+3.8 | 85% | 4.4+3.4 | 17.2%+2.1% |
كانت ملاحظة Hanah جاهزة للاعتماد بعد 2 دقيقة و54 ثانية من انتهاء الاستشارة في المتوسط. وقد التقطت 85% من الحقائق، بمعدل 6.8 خطأ و1.0 إشارة هلوسة لكل ملاحظة، وهو الأقل في الحالتين. واستغرقت مراجعتها وتصحيحها وقتًا أقل بنسبة 66% من كتابة الملاحظة بنفسك.
جاء Heidi ثانيًا بـ4 دقائق و44 ثانية وCliniScripts ثالثًا بـ4 دقائق و52 ثانية، متقاربين أحدهما من الآخر. وجاء Freed رابعًا بـ5 دقائق و21 ثانية. وعادل Freed أداء Hanah في التغطية بنسبة 85%، وسجّل ثاني أقل عدد من أخطاء الملاحظة بمعدل 10.6.
وسجّل Heidi أدنى معدل خطأ الكلمات في هذه الاستشارة بنسبة 14.2%، يليه Hanah بنسبة 15.1%. وكان لدى CliniScripts أقل عدد من الكلمات التي أُسيء سماعها وتغيّر المعنى السريري، بمعدل 2.4 لكل تشغيل.
ما وجدناه
- يتناول المريض عادةً الحساء النباتي في هذا المطعم، وكانت لاكسا الروبيان شيئًا جديدًا عليه. ولم تسجّل ذلك كاملًا إلا ملاحظة واحدة من الملاحظات الـ30 الصادرة عن الكتبة الستة.
- قال المريض إنه شعر بقليل من الدوخة أثناء المكالمة. وسمع معظم الكتبة كلمة «dizzy» (دائخ) على أنها «busy» (مشغول) في بعض التشغيلات على الأقل، وأغفلت ملاحظات كثيرة هذا العَرَض.
- سجّل Freed أن المريض يعيش بمفرده في أربعة من خمسة تشغيلات. ولا شيء في الاستشارة يقول ذلك.
- لا يستخدم المريض أي أجهزة استنشاق أخرى. سجّل Hanah ذلك في كل تشغيل، وأغفله كل كاتب آخر في ثلاثة تشغيلات على الأقل.
تتناول مراجعتنا لـHeidi أداء Heidi في الاستشارات الـ12 كلها، مع جولة مصوّرة بالفيديو.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.