النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي لطب القلب
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في الاستشارتين القلبيتين كلتيهما ضمن اختبارنا المعياري. وتصدّر كلًّا منهما بفارق يتجاوز هامش الخطأ.
الاختبارات
الاستشارتان كلتاهما موعدان بالفيديو لدى طبيب عام من مجموعة PriMock57. في الأولى، يتصل مريض يشكو منذ ساعتين تقريبًا من انزعاج ضاغط في الصدر وغثيان وتعرّق وضيق في التنفس، فيستدعي الطبيب سيارة إسعاف لاحتمال الإصابة بنوبة قلبية. وفي الثانية، يعاني مريض مصاب بقصور قلب معروف من ضيق في التنفس تفاقم على مدى أسبوعين، فيرتّب الطبيب تحاليل دم وتخطيطًا لصدى القلب.
سجّل ستة كتبة طبيين بالذكاء الاصطناعي كل استشارة خمس مرات، وقُيّمت كل ملاحظة تقييمًا معمّى في مقابل الحقائق السريرية التي قيلت في الاستشارة: 33 حقيقة لاستشارة ألم الصدر و53 لقصور القلب. ونرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، أي مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الطبيب لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. وتتوفر التسجيلات والنصوص المفرَّغة والملاحظات وأسباب التقييم في صفحتَي اختبار ألم الصدر وقصور القلب.
ألم الصدر
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 د 09 ث | 2.2 | 98% | 0.8 | 17.2% |
| 2 | CliniScripts | 2 د 58 ث+49 ث | 5.8+3.6 | 86%−11% | 0.2 | 16.9% |
| 3 | Heidi | 3 د 25 ث+1 د 16 ث | 9.4+7.2 | 77%−21% | 0.6 | 17.2% |
| 4 | Lyrebird | 3 د 32 ث+1 د 23 ث | 8.8+6.6 | 84%−13% | 2.8+2.0 | 22.8%+5.6% |
كانت ملاحظة Hanah جاهزة للاعتماد في المتوسط بعد دقيقتين و9 ثوانٍ من انتهاء الاستشارة. والتقطت 98% من الحقائق، بمتوسط 2.2 خطأ لكل ملاحظة. واستغرقت مراجعتها وتصحيحها وقتًا أقل بنسبة 78% من كتابة الملاحظة بنفسك. وكان أبطأ تشغيلات Hanah أسرع من متوسط كل كاتب آخر.
وجاء CliniScripts ثانيًا بدقيقتين و58 ثانية، بتغطية 86% و5.8 أخطاء في الملاحظة. وسجّل CliniScripts أقل عدد من إشارات الهلوسة في هذه الاستشارة بواقع 0.2 لكل ملاحظة، وأدنى معدل لخطأ الكلمات بنسبة 16.9%، في حين تساوى Hanah وHeidi عند 17.2%. وجاء Heidi ثالثًا بـ3 دقائق و25 ثانية، وLyrebird رابعًا بـ3 دقائق و32 ثانية.
قصور القلب
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 4 د 12 ث | 9.8 | 88% | 1.2 | 16.3% |
| 2 | Heidi | 6 د 20 ث+2 د 08 ث | 18.6+8.8 | 75%−12% | 2.0+0.8 | 15.3% |
| 3 | Freed | 6 د 59 ث+2 د 47 ث | 15.4+5.6 | 81%−7% | 3.6+2.4 | 25.3%+9.0% |
| 4 | Lyrebird | 7 د 05 ث+2 د 53 ث | 22.2+12.4 | 76%−12% | 5.2+4.0 | 25.7%+9.3% |
| 5 | CliniScripts | 7 د 11 ث+2 د 59 ث | 19.6+9.8 | 73%−15% | 2.8+1.6 | 15.4% |
تضم هذه الاستشارة أكبر عدد من الحقائق بين جميع استشارات الاختبار المعياري. وكانت ملاحظة Hanah جاهزة للاعتماد في المتوسط بعد 4 دقائق و12 ثانية من انتهاء الاستشارة، واستغرقت مراجعتها 3 دقائق و46 ثانية. والتقطت 88% من الحقائق، بمتوسط 9.8 أخطاء في الملاحظة و1.2 إشارة هلوسة لكل ملاحظة، وهو الأقل في كلا المقياسين.
وجاء Heidi ثانيًا بـ6 دقائق و20 ثانية، وFreed ثالثًا بـ6 دقائق و59 ثانية، وLyrebird رابعًا بـ7 دقائق و5 ثوانٍ. وسجّل Freed ثاني أقل عدد من أخطاء الملاحظة بواقع 15.4. وسجّل Heidi أدنى معدل لخطأ الكلمات بنسبة 15.3%، يليه CliniScripts بنسبة 15.4% وHanah بنسبة 16.3%. أما الكلمات التي أُسيء سماعها على نحو يغيّر المعنى السريري، فقد تساوى فيها Hanah وCliniScripts عند 1.2 في كل تشغيل.
النتائج التفصيلية
- في استشارة ألم الصدر، قال المريض إنه لا يعاني من أي حساسية سوى الحساسية من الأسبرين. وسجّل Hanah ذلك في كل تشغيل، وأغفله كل كاتب آخر في كل تشغيل.
- قال المريض إن الأسبرين يسبّب له تورّمًا. ففرّغ Heidi وLyrebird عبارة "swell up" (يتورّم) على أنها "swallow" (يبلع) في التشغيلات الخمسة كلها. وسمعها Hanah وCliniScripts على نحو صحيح في كل مرة.
- في استشارة قصور القلب، يتناول المريض قرصًا واحدًا من الفوروسيميد يوميًا لكنه لا يعرف الجرعة. وسجّل Hanah ذلك في كل تشغيل، ولم يسجّله أي كاتب آخر كاملًا في أي تشغيل.
- فرّغ Heidi كلمة الفوروسيميد على أنها "fruit" (فاكهة) في تشغيلات قصور القلب الخمسة كلها. وسمع Lyrebird البيسوبرولول على أنه "omeprazole" (أوميبرازول) في أربعة من خمسة.
تتناول مراجعتنا لـHeidi أداء Heidi في الاستشارات الاثنتي عشرة كلها، مع جولة مصوّرة بالفيديو.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.