النتائج · نُشر في
Hanah هو أفضل كاتب طبي بالذكاء الاصطناعي في اختبارنا المعياري
سجّلنا الاستشارات الـ12 نفسها بستة من الكتبة الطبيين بالذكاء الاصطناعي، وقيّمنا كل ملاحظة تقييمًا معمّى مقابل قائمة الحقائق السريرية نفسها. وجاء Hanah في المرتبة الأولى في 18 من المقاييس الـ19 التي ننشرها، ومنها كل مقاييس جودة الملاحظة وكل مقاييس وقت الممارس السريري. وتتوفر التسجيلات والنصوص المفرَّغة والملاحظات وأسباب التقييم لكل استشارة على صفحة الاختبار الخاصة بها، ويمكن تنزيلها.
الأخطاء في الملاحظة
خطأ الملاحظة هو حقيقة ذات صلة أغفلتها الملاحظة أو لم تلتقطها إلا جزئيًا، أو ادعاء لا تدعمه الاستشارة. ونحصيها بالطريقة التي أحصى بها Weiner وآخرون (2020) الأخطاء في ملاحظات الأطباء. وبحساب المتوسط على خمسة تشغيلات على الأقل لكل من الاستشارات الـ12، بلغ عدد الأخطاء 4.1 لكل ملاحظة من ملاحظات Hanah. وبلغ المتوسط 8.3 لدى Freed، و9.0 لدى Heidi، و9.7 لدى CliniScripts، و11.6 لدى Lyrebird، و18.0 لدى PatientNotes.
والتقط Hanah نسبة 93% من الحقائق ذات الصلة، مقابل 87% لـFreed، و82% لـLyrebird، و81% لـHeidi، و80% لـCliniScripts، و61% لـPatientNotes. وسجّل أيضًا أقل عدد من إشارات الهلوسة بمعدل 0.80 لكل ملاحظة، يليه Heidi عن قرب بمعدل 1.00.
ووجد Weiner وآخرون 5.0 أخطاء لكل ملاحظة في الملاحظات التي كتبها الأطباء أنفسهم بعد مقارنتها بتسجيلات الزيارة. واختبارنا يُحصي الأخطاء بصرامة أشد من اختبارهم، وكان Hanah الكاتب الوحيد الذي جاء دون ذلك الرقم.
وقت المراجعة والاعتماد
نقدّر الوقت الذي يستغرقه الممارس السريري لقراءة كل ملاحظة وتصحيح ما فيها من أخطاء. استغرقت مراجعة ملاحظة Hanah مدة 2 دقيقة و2 ثانية، مقابل 2 دقيقة و58 ثانية لـHeidi، و3 دقائق و43 ثانية لـLyrebird، و3 دقائق و50 ثانية لـCliniScripts، و4 دقائق و5 ثوانٍ لـFreed، و5 دقائق و11 ثانية لـPatientNotes. وتستغرق كتابة الملاحظة بنفسك بقيمة وسيطة تبلغ 8.1 دقيقة (Apathy وآخرون 2023)، ما يجعل مراجعة ملاحظة Hanah وتصحيحها أسرع بنسبة 75% من كتابتها يدويًا. وكان Heidi أسرع بنسبة 63%، وLyrebird بنسبة 54%، وCliniScripts بنسبة 53%، وFreed بنسبة 50%، وPatientNotes بنسبة 36%.
وبإضافة مدة الانتظار بعد الضغط على زر الإيقاف، كانت ملاحظة Hanah جاهزة للاعتماد بعد 2 دقيقة و23 ثانية من انتهاء الاستشارة. واستغرق ذلك 3 دقائق و25 ثانية لدى Heidi، و4 دقائق و3 ثوانٍ لدى CliniScripts، و4 دقائق و6 ثوانٍ لدى Lyrebird، و4 دقائق و40 ثانية لدى Freed، و5 دقائق و39 ثانية لدى PatientNotes.
واستغرقت مراجعة أبطأ ملاحظة لـHanah في أي تشغيل 4 دقائق و15 ثانية. أما كل كاتب آخر فكانت لديه ملاحظة واحدة على الأقل استغرقت مراجعتها أكثر من سبع دقائق ونصف، واستغرقت مراجعة أبطأ ملاحظة لـCliniScripts مدة 10 دقائق و47 ثانية.
التفريغ النصي والسرعة والبيانات
سجّل Hanah أدنى معدل خطأ الكلمات (WER) بنسبة 12.8%، يليه CliniScripts بنسبة 13.0% وHeidi بنسبة 13.6%. وفي الكلمات التي أُسيء سماعها وتغيّر المعنى السريري، بلغ المتوسط 8.6 لكل تشغيل للاستشارات الاثنتي عشرة لدى Hanah، و9.0 لدى CliniScripts، وتراوح لدى الكتبة الآخرين بين 21 و36.
وأنتج Hanah ملاحظته بعد 19 ثانية من الإيقاف بالقيمة الوسيطة، واستخدم 9.1 MB من البيانات لكل استشارة. واستغرق الكتبة الآخرون بين 21 و49 ثانية، واستخدموا بين 17 و45 MB.
استخدام الذاكرة والملاحظات غير المعدَّلة
في اختبار إجهاد مدته 50 دقيقة سجّل فيه جميع الكتبة في الوقت نفسه على جهاز واحد، بلغ متوسط استخدام CliniScripts للذاكرة 972 MB مقابل 1,103 MB لـHanah. وهذا هو المقياس الوحيد الذي لم يتصدّره Hanah. وبلغ استخدام Hanah لوحدة المعالجة المركزية 28.6%، في مستوى CliniScripts نفسه البالغ 28.8%.
وحقق Hanah أعلى نسبة من الملاحظات الجاهزة للاعتماد كما كُتبت، وهي 8%، أي أن كل حقيقة التُقطت كاملة دون أي إشارات هلوسة. وهذه النسبة أقل من نسبة الـ10% من ملاحظات الأطباء التي وجد Weiner وآخرون أنها خالية من الأخطاء، ولا تزال كل ملاحظة من كل كاتب تحتاج إلى مراجعة الممارس السريري قبل اعتمادها.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.