المنهجية · نُشر في
اختبار معياري للقطاع للكتبة الطبيين بالذكاء الاصطناعي
يُخضع ScribeStandard كل كاتب طبي بالذكاء الاصطناعي لاختبارات شفافة وصارمة صُمّمت لتبيّن كيف يعمل الكتبة في الواقع، بعيدًا عن ادعاءات الدقة الواردة في موادهم التسويقية.
الاستشارات
يستخدم الاختبار المعياري 12 استشارة مسجَّلة. ثماني منها استشارات محاكاة لدى طبيب عام من PriMock57، وهي مجموعة بيانات عامة لاستشارات الرعاية الأولية، وتغطي طب القلب والأمراض الجلدية وأمراض الجهاز الهضمي وطب الأعصاب والمسالك البولية والصحة النفسية والحساسية. أما البقية فهي استشارة أُجريت بالكامل باللغة الهندية، وأخرى بالفرنسية، وأخذ قصير للتاريخ المرضي في إدارة الألم، وجلسة علاج عضلي مدتها 50 دقيقة سُجّلت وفي الخلفية تلفاز وأصوات من غرفة أخرى. وتتراوح مدتها بين 31 ثانية و50 دقيقة.
يمكنك تشغيل كل تسجيل وتنزيله من صفحة الاختبار الخاصة به. ولكل تسجيل نص مرجعي، وحيثما لم يطابق النص المفرَّغ في مجموعة البيانات ما قيل فعلًا صحّحناه. ويُقيَّم الكتبة الستة جميعًا في مقابل النص المصحَّح نفسه.
اختبار المنتج الذي يستخدمه الأطباء
نختبر كل كاتب عبر تطبيق الويب الخاص به. يتحكم نص برمجي في متصفح Chromium ظاهر مسجَّل الدخول إلى حساب عادي، فيضغط زر التسجيل، ويشغّل الاستشارة عبر مدخل الميكروفون، ثم يضغط زر الإيقاف. ويتلقى كل كاتب الصوت نفسه تمامًا. والكتبة الذين يقبلون تعليمات للملاحظة يتلقّون جميعًا التعليمات نفسها: عناوين SOAP مع نقاط تعداد واختصارات سريرية موجزة. أما Freed وCliniScripts فلا يقبلان التعليمات بهذه الطريقة، فتُقيَّم ملاحظتهما الافتراضية.
سجّل كل كاتب كل استشارة يدعمها خمس مرات على الأقل. فالنتائج تتغير من تشغيل إلى آخر على الصوت نفسه، وقد يُظهر تشغيل واحد المنتج أفضل أو أسوأ مما هو عليه. والأرقام الواردة في الموقع هي المتوسط عبر التشغيلات، وتفتح كل خانة مخططًا بنقطة واحدة لكل تشغيل.
تقييم الملاحظات
لكل استشارة قائمة حقائق تضم كل حقيقة قيلت تتعلق بحالات المريض أو أعراضه أو علاماته، بمجموع 358 حقيقة عبر الاستشارات الاثنتي عشرة. وهذا هو المعيار الذي اعتمده Weiner وآخرون (2020) حين راجعوا ملاحظات 105 أطباء في مقابل تسجيلات الزيارة. وتقتبس قائمة الحقائق سطر النص المفرَّغ الذي تستند إليه كل حقيقة. ولا يُدرج التشخيص في القائمة إلا إذا نطق به الطبيب، لأن الكاتب لا ينبغي أن يشخّص.
تُخلط ملاحظات الاستشارة الواحدة معًا بعد حذف أسماء المنتجات، وتقيّمها لجنة تحكيم من المراجعين الآليين بالذكاء الاصطناعي. وتحدد اللجنة لكل حقيقة ما إذا كانت الملاحظة تتضمنها كاملة أو جزئيًا أو تغفلها. وتُجرى مراجعة منفصلة تشير إلى كل ما توثّقه الملاحظة مما لا تدعمه الاستشارة، كعَرَض لم يذكره أحد أو جرعة أو جهة أو توقيت خاطئ. وهذه هي إشارات الهلوسة. والحقيقة المُغفَلة أو الجزئية خطأٌ في الملاحظة، وكذلك إشارة الهلوسة. ويُحتسب التفصيل الخاطئ مرتين، كما احتسبه Weiner وآخرون.
وقت الطبيب
نقدّر وقت المراجعة لكل ملاحظة استنادًا إلى قراءتها بمعدل 190 كلمة في الدقيقة، وتذكّر كل حقيقة مُغفَلة وكتابتها، والتحقق من كل إشارة هلوسة وحذفها. ويضيف الوقت حتى اعتماد الملاحظة مدة الانتظار بعد الضغط على زر الإيقاف. ويُقارن كلاهما بكتابة الملاحظة بنفسك، أي بوسيط قدره 8.1 دقيقة لكل زيارة لدى 203,728 طبيبًا في الولايات المتحدة وفق Apathy وآخرين (2023).
نرتّب الكتبة في كل اختبار حسب الوقت حتى اعتماد الملاحظة، لأنه الوقت الذي يقضيه الطبيب بين نهاية الاستشارة والحصول على ملاحظة مكتملة.
التفريغ والسرعة والبيانات
يُقاس معدل خطأ الكلمات (WER) على النص المفرَّغ النهائي الذي يحتفظ به كل كاتب، في مقابل النص المرجعي. وهو يمنح كل كلمة الوزن نفسه، فلا يُحتسب دواء خاطئ أو نفي معكوس بأكثر مما تُحتسب أداة تعريف محذوفة مثل "the". ونحصي كذلك أخطاء النص المفرَّغ ذات الدلالة، أي الفروق التي يرى مقيِّم معمّى أنها قد تغيّر التشخيص أو العلاج أو المتابعة أو السلامة.
نقيس الوقت الذي يستغرقه كل كاتب لإنتاج ملاحظته بعد الإيقاف، ونقيس كل البيانات التي تنقلها جلسة التسجيل، من فتح التطبيق حتى إغلاق المتصفح. ويقيس اختبار إجهاد مدته 50 دقيقة، يسجّل فيه جميع الكتبة في آنٍ واحد على جهاز واحد، استهلاك الذاكرة والمعالج.
الأطباء بوصفهم نقطة مرجعية
تُعرض النتائج إلى جانب الأرقام المنشورة للأطباء الذين يكتبون ملاحظاتهم بأنفسهم: 5.0 أخطاء لكل ملاحظة و10% من الملاحظات خالية من الأخطاء وفق Weiner وآخرين (2020)، و8.1 دقيقة للكتابة وفق Apathy وآخرين (2023). وتقييمنا أشد صرامة من تقييم Weiner وآخرين، وهو ما يصبّ في صالح الأطباء. وحين قيّمنا تقييمًا معمّى الملاحظات التي كتبها ستة من أطباء PriMock57 بأنفسهم، مخلوطة مع ملاحظات الكتبة للاستشارات نفسها، بلغ متوسطها 26 خطأً لكل منها في مقابل قوائم الحقائق نفسها.
النتائج الحالية
عبر الاستشارات الاثنتي عشرة كلها، تراوحت أخطاء الملاحظة بين 4.1 و18.0 لكل ملاحظة، ووقت المراجعة بين دقيقتين وثانيتين و5 دقائق و11 ثانية. وجاء Hanah في المرتبة الأولى في 18 من المقاييس التسعة عشر التي ننشرها. ويعرض جدول النتائج كل كاتب في كل مقياس، ولكل تخصص ولغة مقال خاص به.
الحدود
يُجري التقييمَ مراجعون آليون بالذكاء الاصطناعي، ولم يتحقق منه أطباء مستقلون. وتُحتسب إشارة الهلوسة مرة واحدة أيًّا كانت عواقبها السريرية. ووقت المراجعة تقدير مبني على معدلات ثابتة للقراءة والكتابة، وأرقام الأطباء مأخوذة من دراسات مختلفة لاستشارات مختلفة. والمقارنة المتكافئة تقتضي أن يكتب أطباء مستقلون ملاحظات للاستشارات الاثنتي عشرة وأن تُقيَّم تقييمًا معمّى إلى جانب ملاحظات الكتبة، ولم نفعل ذلك بعد.
لا نختبر تجربة المستخدم، لأن الضغط على زر التسجيل والحصول على ملاحظة يجريان على النحو نفسه تقريبًا في كل كاتب اختبرناه.
البيانات
النص المفرَّغ والملاحظة وأحكام الحقائق وإشارات الهلوسة وتعليلات لجنة التحكيم لكل تشغيل موجودة في ملف JSON واحد، والدرجات وحدها في ملف CSV. والمنهجية الكاملة في صفحة المنهجية. ويمكن لأي شخص لديه حسابات لدى هؤلاء الكتبة أن يشغّل التسجيلات نفسها عبرهم ويتحقق من أرقامنا.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.