مراجعة التقنيات السريريةالإصدار 01 / سبتمبر 2026
استكشف النتائج ←

المنهجية / بإصدارات موثَّقة، بلا غموض

أساليب التقييم وحدوده

معاينة محلية — أُعيد توليد ملاحظات Hanah في 11 أكتوبر 2026 باستخدام GPT-6.1 Sol بمستوى استدلال منخفض: 50 ملاحظة عبر 10 استشارات، بخمس نسخ مخزَّنة من النص المفرَّغ لكل منها. لا تزال استشارتان بانتظار ملاحظات Hanah جديدة. يحتفظ معدل خطأ الكلمات (WER) وأدلة التفريغ النصي بتواريخ التقاطها الأصلية؛ ويحتفظ الكتبة الآخرون بنتائجهم الحالية. قيّم Sonnet 5.5 بمستوى استدلال متوسط الملاحظاتِ الجديدة تقييمًا معمّى، تلاه تدقيق غير معمّى أجراه وكيل ذكاء اصطناعي؛ والنتائج أولية، دون تحقق مستقل من ممارسين سريريين. توقيتات Hanah تقديرية: يستند انتظار الملاحظة المطلوبة إلى مدة التوليد المقيسة عبر API مضافًا إليها مهلة جاهزية قدرها 2 ثانية؛ ويضيف الوقتُ حتى اعتماد الملاحظة وقتَ المراجعة والتصحيح المقدَّر. ولا يشمل أيٌّ منهما إنهاء التفريغ النصي ولا الحِمل الإضافي للتطبيق، بانتظار إعادة تشغيل حيّة.

كل رقم يحتاج إلى تعريف. وكل مقارنة تحتاج إلى المدخلات نفسها. إليك ما يقيسه هذا الإصدار، وما لا يمكنه إثباته.

تجربة المستخدم

لا نختبر تجربة المستخدم. فمن خلال ما رأيناه، يتشابه الكتبة الطبيون بالذكاء الاصطناعي إلى حد كبير من منتج إلى آخر: اضغط على زر التسجيل، وأجرِ الاستشارة، واحصل على ملاحظة. ما يميّزهم هو الغرض الذي يُشترَون من أجله، ولذلك هذا ما نقيسه، بموضوعية: مدى دقة سماع كل كاتب للاستشارة، ومدى دقة ملاحظته واكتمالها، والمدة التي يستغرقها الوصول إلى ملاحظة يمكنك اعتمادها.

تجربة المنتج الفعلية

نعيد تشغيل الصوت نفسه عبر متصفحات Chromium مرئية يتحكم بها Playwright. ولكل عملية التقاط نسخة معزولة من ملف تعريف مسجَّل الدخول. يُجهَّز الصوت باستخدام أداة الاختبار المشتركة بصيغة PCM أحادية القناة بتردد 44.1 kHz، مع ثانية واحدة من الصمت في البداية وعشر ثوانٍ من الصمت في النهاية. هذا هو مُدخل الميكروفون إلى المنتج؛ ولا يحدد الترميز الذي يرسل به المنتج البيانات إلى خوادمه.

تسجّل أداة الاختبار التغييرات المرئية في النص المفرَّغ، والنصوص المفرَّغة النهائية، والملاحظات المولَّدة، وأحداث الواجهة، وإجماليات الشبكة للجلسة كاملة. ولا تسجّل الفيديو. تُضبط المنتجات التي تتطلب اختيار لغة قبل التسجيل؛ وتُستبعد التركيبات غير المدعومة.

تشغيلات متعددة لكل سيناريو

بسبب التباين بين التشغيلات على بيانات السيناريو نفسها، شغّلنا كل سيناريو عدة مرات. وشغّل كل كاتب كل استشارة شارك فيها خمس مرات. كل رقم هو المتوسط عبر التشغيلات، وكل خلية تفتح رسمًا بيانيًا فيه نقطة واحدة لكل تشغيل.

لا يدعم Lyrebird الحالة الفرنسية، ويُقيَّم على الحالات التي يدعمها. وفشلت عملية التقاط واحدة داخل المنتج (PatientNotes)؛ ويُحسب متوسط ذلك التشغيل على الحالات التي اكتملت.

النصوص المفرَّغة النهائية

معدل خطأ الكلمات (WER) هو مجموع الاستبدالات والحذوفات والإضافات، مقسومًا على عدد كلمات المرجع، مجمَّعًا عبر جميع الحالات في التشغيل الواحد. الأقل أفضل. ننتظر ضوابط الإنهاء في المنتج واستقرار النص المفرَّغ قبل التقاط النص.

تُحتسب الأرقام المتكافئة مثل «ten» و«10» كلمة واحدة، ولا تُبرزها صفحات الحالات. وتبقى الصيغ المختصرة (contractions) فروقًا حرفية. وتتبع الهندية سياسة موثَّقة لتكافؤ أنظمة الكتابة.

لأن معدل خطأ الكلمات يعامل كل الكلمات بالتساوي، فإننا نحصي أيضًا أخطاء النص المفرَّغ المهمة. يُقارَن كل نص مفرَّغ بالمرجع، وتُستبعد الفروق التي تقتصر على كلمات الحشو أو الكلمات الوظيفية، ثم يحكم مقيِّم معمّى على كل فرق متبقٍّ: هل يمكن أن يغيّر التشخيص أو العلاج أو المتابعة أو السلامة أو السجل؟ الأدوية والجرعات والأرقام والجوانب الخاطئة والنفي المعكوس عادةً ما تكون كذلك. أما التهجئة وإعادة الصياغة وأوامر الإملاء المكتوبة حرفيًا فليست كذلك. ويحصل الفرق المتطابق على التقييم نفسه أينما ظهر.

المادة المصدرية المصحَّحة

حيثما لم يطابق النص المفرَّغ المصدري ما قيل في التسجيل، صحّحناه، ويُقيَّم كل كاتب مقابل النص المصحَّح نفسه. وتُحذف الأوامر المنطوقة مثل «نقطة» و«فقرة جديدة» قبل التقييم.

تقييم الملاحظات تقييمًا معمّى

قيّمت كلَّ ملاحظة لجنةُ تحكيم من مراجعين بالذكاء الاصطناعي (وكلاء Claude فرعيون) 5 مرات على الأقل. وخُلطت ملاحظات الاستشارة الواحدة عشوائيًا في حِزم معنونة من A إلى G، مع سياق متطابق لكل ملاحظة.

لكل استشارة قائمة بكل حقيقة قيلت وتتعلق بحالات المريض الطبية أو أعراضه أو علاماته، وهو المعيار الذي استخدمه Weiner وآخرون (2020) عندما قارنوا ملاحظات الأطباء بتسجيلات الزيارة. كل حقيقة نقطة سريرية واحدة: الأعراض وتفاصيلها، والنفي ذو الصلة، والتاريخ المرضي، والأدوية، ونتائج الفحص التي قيلت بصوت مسموع، والتقييم، والخطة. وهذا يعني 12 إلى 45 حقيقة لكل استشارة، و358 حقيقة إجمالًا. ولا تُحتسب التشخيصات إلا إذا نطق بها الممارس السريري؛ إذ لا ينبغي للكاتب أن يشخّص. وتُستبعد الملابسات غير الجوهرية، مثل مكان شراء الدواء؛ أما التفاصيل ذات المعنى السريري، مثل لون القيء أو جانب الألم، فتبقى. صاغ الذكاء الاصطناعي هذه القوائم انطلاقًا من النص المرجعي وحده، دون الاطلاع على أي ملاحظة، وكل حقيقة فيها تقتبس السطر الذي وردت فيه.

تصنّف لجنة التحكيم كل حقيقة على أنها كاملة أو جزئية أو مفقودة. ثم تحدّد مرحلة معمّاة منفصلة كل عنصر سريري توثّقه الملاحظة ولا تدعمه الاستشارة: عرَض، أو نفي، أو بند من التاريخ المرضي، أو دواء، أو جرعة، أو نتيجة فحص، أو تشخيص، أو بند في الخطة لم يُذكر قط، أو ذُكر بشكل مختلف (قيمة أو جانب أو جرعة أو توقيت أو شخص خاطئ، أو احتمال كُتب على أنه حقيقة). هذه هي أخطاء الارتكاب لدى Weiner وآخرين، وكل منها إشارة هلوسة، مع مبرراتها. ولا تُحتسب إعادة الصياغة ولا المصطلحات السريرية الدالة على ما قيل. كل حقيقة فائتة أو جزئية هي خطأ ملاحظة، وكذلك كل إشارة هلوسة. والتفصيل المكتوب خطأً يُحتسب مرتين، كما لدى Weiner وآخرين: مرة بوصفه حقيقة صحيحة مفقودة، ومرة بوصفه إشارة. ولا يوجد تقييم منفصل للخطورة: فبحكم طريقة البناء، كل حقيقة في القائمة مهمة.

حتى 2026-09-25، كانت الملاحظات تُقيَّم مقابل قائمة مرجعية من 13 إلى 16 حقيقة رئيسية لكل استشارة، مع مقيِّم منفصل يحكم على أهمية كل خطأ. وكانت القائمة المرجعية تضع حدًا أقصى لعدد الإغفالات الممكنة في الملاحظة، لذا استبدلنا كلتا الأداتين بالقائمة الكاملة. فارتفع عدد أخطاء كل كاتب إلى ضعفين أو ثلاثة أضعاف؛ بينما بالكاد تغيّر الترتيب. ولا تزال أخطاء النص المفرَّغ المهمة تعتمد على تقييم للأهمية. هذه مراجعات بالذكاء الاصطناعي. وهي ليست تحققًا مستقلًا من ممارسين سريريين، ولا تُثبت السلامة السريرية.

وقت المراجعة

يقدّر وقت المراجعة المدة التي يستغرقها الممارس السريري لجعل كل ملاحظة آمنة للاعتماد:

لا تُحتسب تصحيحات التنسيق، لأن جميع الكتبة يتبعون تعليمات التنسيق جيدًا. ولا يُحتسب انتظار الملاحظة أيضًا، لأن الممارسين السريريين عادةً ما يراجعون الملاحظات في وقت لاحق من اليوم. أما الوقت حتى اعتماد الملاحظة، الوارد أدناه، فيحتسب الانتظار.

الوقت الموفَّر

يقارن الوقت الموفَّر بين وقت المراجعة وكتابة الملاحظة نفسها بنفسك. ويُفترض أن كتابتها بنفسك تستغرق 8.1 دقيقة، وهو الوسيط لوقت الكتابة الفعلية للملاحظة لكل زيارة لدى 203,728 طبيبًا في العيادات الخارجية في الولايات المتحدة في دراسة Apathy وآخرين (2023). وتقدّره الدراسات المنشورة بـ6–10 دقائق بحسب التخصص وسير العمل؛ ونحن نستخدم الوسيط، وهو الأدنى بين الرقمين المركزيين.

الوقت الموفَّر هو 8.1 دقيقة مطروحًا منها وقت مراجعة الملاحظة. وهو خط الأساس نفسه لكل كاتب، لذا لا يوفّر الكاتب وقتًا أكثر إلا بحاجته إلى مراجعة أقل.

أسرع من كتابتها بنفسك

يعبّر مقياس «أسرع من كتابتها بنفسك» عن الوقت الموفَّر كنسبة من وقت كتابة الملاحظة بنفسك: 1 ناقص وقت المراجعة مقسومًا على وقت الكتابة. وتعني 60% أن مراجعة الملاحظة وتصحيحها يستغرقان 40% من وقت كتابتها. والرقم السالب يعني أن تصحيح الملاحظة يستغرق وقتًا أطول من كتابتها. تُقيَّم كل ملاحظة على حدة، ثم يُحسب المتوسط عبر التشغيل.

الوقت حتى اعتماد الملاحظة

الوقت حتى اعتماد الملاحظة هو مدة الانتظار من الضغط على زر الإيقاف حتى جاهزية الملاحظة المقيَّمة، مضافًا إليها وقت مراجعتها. ويمثّل الحالة التي يراجع فيها الممارس السريري كل ملاحظة مباشرةً بعد الاستشارة. فإذا كانت الفجوة بين المرضى أطول من ذلك، تُعتمد الملاحظة قبل دخول المريض التالي. وبالنسبة إلى الكتبة الذين قُيِّموا على ملاحظتهم الافتراضية، يُحسب الانتظار حتى الملاحظة الافتراضية. وكما في مقياس «من الإيقاف حتى الملاحظة المطلوبة»، لا يستخدم إلا التشغيلات الإنتاجية.

ملاحظات جاهزة للاعتماد كما كُتبت

تكون الملاحظة جاهزة للاعتماد كما كُتبت عندما تصنّف لجنة التحكيم كل حقيقة في القائمة على أنها ملتقَطة بالكامل ولا تجد أي إشارة هلوسة، فلا يحتاج أي شيء إلى تحرير. ولا يُحتسب التنسيق، كما في وقت المراجعة. والرقم الخاص بكل كاتب هو نسبة ملاحظاته التي استوفت ذلك.

جهد التحرير

يوضح جهد التحرير مقدار ما لا يزال على الممارس السريري تصحيحه في الملاحظة، أيًّا كان طولها. وتعني 0% عدم الحاجة إلى أي تحرير، وتعني 100% كتابة الملاحظة كاملةً يدويًا.

يُرجَّح كل تصحيح بحسب العمل الذي يتطلبه:

تُجمع أوزان الملاحظة وتُقسم على درجة كتابتها بنفسك، وهي 2 لكل حقيقة في قائمة حقائق الاستشارة. ويمكن للهلوسات أن ترفع الملاحظة إلى ما فوق 100%.

الأخطاء التي تصل إلى السجل

هذا تقدير لعدد أخطاء الملاحظة (معيار Weiner وآخرين) التي ستبقى في السجل بعد أن يراجع الممارس السريري الملاحظة. ويُحسب بضرب أخطاء الملاحظة لكل ملاحظة لدى كل كاتب في 70%.

تأتي نسبة 70% من دراسة Biro وآخرين (2025). فقد راجع عشرون طبيبًا عامًّا في الرعاية الأولية ردودًا صاغها الذكاء الاصطناعي على رسائل المرضى، زُرع خطأ في أربع منها. وبقي كل خطأ دون تصحيح لدى 13 إلى 15 من الأطباء الـ20، أي إن 65–75% من المراجعين لم ينتبهوا إليه. ونحن نستخدم القيمة الوسطى، 14 من 20.

إنه تقدير، لا قياس. فقد درس Biro وآخرون الردود على رسائل المرضى، لا ملاحظات الاستشارات، وتتفاوت عادات المراجعة. وتُطبَّق النسبة نفسها على كل كاتب، لذا لا تغيّر ترتيبهم ولا الفجوات بينهم؛ بل تحوّل الأخطاء في المسودة إلى ما ستسمح المراجعة المعتادة بمروره. ويُجمَّع الرقم على جميع الملاحظات المقيَّمة؛ والمدى هو الرقم نفسه لكل تشغيل.

الملاحظة التي كتبها الطبيب

يعرض عمود الطبيب طبيبًا يكتب الملاحظة يدويًا، استنادًا إلى دراسات منشورة لا إلى تقييمنا.

هذه الأرقام ليست متكافئة، والفرق في صالح الأطباء. يُقيَّم الكتبة مقابل قوائم الحقائق لدينا، بنقطة سريرية واحدة لكل حقيقة، مع احتساب الالتقاطات الجزئية أخطاءً؛ بينما أحصى Weiner وآخرون عناصر أعمّ في ملاحظات عيادات حقيقية. واختبارنا هو الأكثر صرامة بين الاثنين: فعند تقييمها بطريقتنا، سجّلت ملاحظات ستة أطباء (انظر أدناه) 26 خطأً لكل منها، مقابل 5.0 لدى Weiner وآخرين. وثمة فرق واحد متعمَّد: استبعد Weiner وآخرون نتائج الفحص الموثَّقة، لأن التسجيل لا يمكنه أن يُظهر ما إذا كان الطبيب قد فحص المريض. وهذا السبب لا ينطبق على الكاتب، الذي لا يعرف إلا ما قيل، لذا تُحتسب أي نتيجة فحص في ملاحظة الكاتب لم تُذكر قط إشارةَ هلوسة. والمقارنة النزيهة تتطلب أن يكتب ممارسون سريريون مستقلون ملاحظات لاستشاراتنا الاثنتي عشرة، وأن تُقيَّم تقييمًا معمّى إلى جانب الكتبة. لم نفعل ذلك بعد؛ وإلى أن نفعل، اقرأ عمود الطبيب على أنه نقطة مرجعية منشورة، لا نتيجة لهذا الاختبار المعياري.

«أخطاء أقل من الملاحظات التي كتبها الأطباء» هو 100% ناقص أخطاء كل كاتب لكل ملاحظة كنسبة من 5.0 لدى Weiner وآخرين، مجمَّعًا على جميع الملاحظات المقيَّمة؛ وتعني 100% عدم وجود أخطاء. والمدى هو الرقم نفسه لكل تشغيل.

يقارن هذا ملاحظة الكاتب قبل المراجعة بملاحظة الطبيب كما حُفظت، وهي ملاحظة لا يراجعها أحد. كما أن المراجعة ليست شبكة أمان موثوقة لأخطاء الكاتب: ففي دراسة Biro وآخرين (2025)، راجع 20 طبيبًا في الرعاية الأولية ردودًا صاغها الذكاء الاصطناعي على رسائل المرضى، وبقي كل خطأ مزروع دون تصحيح لدى 13 إلى 15 منهم. وأُرسلت 35–45% من المسودات التي تحتوي على أخطاء دون تعديل.

فحصنا الخاص. ثمانٍ من الاستشارات الاثنتي عشرة مأخوذة من PriMock57، الذي ينشر الملاحظة التي كتبها الطبيب المعالج في حينها (سبعة أطباء عامّين من Babylon، واستشارات فيديو تجريبية مدتها 10 دقائق، وملاحظات كُتبت مباشرةً ونُشرت دون مراجعة). وفي الاستشارات الست الأولى، خلطنا ملاحظة كل طبيب مع ملاحظات الكتبة لتلك الحالة وقيّمناها تقييمًا معمّى مقابل القائمة نفسها. وبلغ متوسط ملاحظات الأطباء 26 خطأً لكل منها، معظمها إغفالات، ولم تخلُ أيٌّ منها من الأخطاء. وفي الاستشارات الست نفسها، تراوح متوسط الكتبة بين 4.3 (Hanah) و19.7 (PatientNotes). إنها ست ملاحظات موجزة، لذا لا ننشرها معدلًا لأخطاء الأطباء؛ بل هي الفحص المتكافئ الذي يُظهر أن ملاحظات كل كاتب تضمنت أخطاء أقل من ملاحظات الأطباء أنفسهم في الاستشارات نفسها.

المواجهة المباشرة

تقارن المواجهة المباشرة بين كاتبين في كل مقياس. وتحت النتيجة، تستخدم كل واحدة من الخلاصات الأربع مقياسًا واحدًا، فلا تُحتسب أي فجوة مرتين: معدل خطأ الكلمات (التفريغ النصي)، وإشارات الهلوسة، وأخطاء الملاحظة (معيار Weiner وآخرين، دقة الملاحظة)، والوقت حتى اكتمال الملاحظة. وكل فجوة هي مقدار ما يقلّ منها لدى الكاتب الأفضل: (الأسوأ − الأفضل) ÷ الأسوأ.

«الترجيح لصالح كاتب» هو المتوسط البسيط للفجوات، بأوزان متساوية، مع احتساب التعادل 0%. وهو ملخص تقريبي: فاختيار أربعة مقاييس وأوزان متساوية قائم على نتائج ملخَّصة، والفجوة الكبيرة لا تُحتسب بأكثر من 100%.

تُفتح المواجهة المباشرة على الكاتبين المتصدرين وفق هذا الترجيح: يُقارَن كل كاتب بكل كاتب آخر، ويُعرض الكاتبان صاحبا أكبر عدد من الانتصارات في المواجهات الثنائية، ويُحسم التعادل بمجموع الهوامش.

الملاحظات والتوقيت

أُعطي كل كاتب يقبل تعليمات للملاحظة هذه التعليمات، عبر واجهته:

Write SOAP notes using the headings Subjective, Objective, Assessment, and Plan. Use bullet points in every section and concise clinical shorthand.

(الترجمة: اكتب ملاحظات SOAP باستخدام العناوين Subjective وObjective وAssessment وPlan. استخدم النقاط في كل قسم، واختصارات سريرية موجزة.)

لا يقبل Freed وCliniScripts التعليمات بهذه الطريقة، لذا يُقيَّمان على ملاحظتهما الافتراضية. ولا يزال مقياس «من الإيقاف حتى الملاحظة المطلوبة» يقيس توقيت الملاحظة المطلوبة حيثما وُجدت.

«من الإيقاف حتى الملاحظة المطلوبة» هو الوسيط، لكل تشغيل، للوقت من الضغط على زر الإيقاف حتى جاهزية الملاحظة المطلوبة. وتتضمن بوابات الاكتمال فترات انتظار قصيرة لاستقرار الواجهة، وتتشارك عمليات الالتقاط جهازًا واحدًا واتصال إنترنت واحدًا، لذا فهذا ليس اختبارًا معزولًا لزمن استجابة الخادم.

فاتورة استهلاك البيانات

تشمل إجماليات Chromium NetLog تحميل التطبيق، والتسجيل، والإنهاء، والملاحظات، وإغلاق المتصفح، بما في ذلك نقل WebSocket. تُحتسب أحداث بايتات المقابس (Socket) وUDP مرة واحدة؛ ولا تُضاف حمولات HTTP وWebSocket المفكوكة التشفير مرة أخرى. وهذه ليست الحركة التي يحتسبها مزوّد خدمة الإنترنت: فترويسات الحزم وإعادات إرسال TCP غير مشمولة. والسجلات المفقودة أو غير الصالحة تُعدّ غير متاحة، ولا تُعدّ صفرًا أبدًا.

قابلية إعادة الإنتاج

نزِّل كل شيء في ملف JSON واحد: درجات كل تشغيل، والنص المفرَّغ، وعلامات الأخطاء، والملاحظة، والأحكام على الحقائق، ومبررات لجنة التحكيم لجميع الاستشارات الـ12. وتتوفر الدرجات وحدها أيضًا في ملف CSV. ويمكن تشغيل التسجيلات المصدرية أو تنزيلها من صفحة كل استشارة. ولا تُنشر ملفات تعريف المصادقة ولا سجلات الشبكة الخام.