التقنيات السريرية تحت الاختبار
الكتبة الطبيون بالذكاء الاصطناعي، تحت المجهر.
نختبر الكتبة الطبيين بالذكاء الاصطناعي على الاستشارات المسجَّلة نفسها. استكشف كيف يتقارنون في التفريغ النصي والملاحظات السريرية والسرعة، ثم أمعِن النظر في الحالات التي تقف وراء الأرقام.
لكل استشارة قائمة بكل حقيقة قيلت وتتعلق بحالات المريض المرضية أو أعراضه أو علاماته، وهو المعيار الذي استخدمه Weiner وآخرون (2020) لتدقيق ملاحظات الأطباء. صاغ الذكاء الاصطناعي هذه القوائم انطلاقًا من النص المرجعي لكل استشارة وحده، قبل تقييم أي ملاحظة، وكل حقيقة فيها تقتبس السطر الذي وردت فيه.
معاينة محلية — أُعيد توليد ملاحظات Hanah في 11 أكتوبر 2026 باستخدام GPT-6.1 Sol بمستوى استدلال منخفض: 50 ملاحظة عبر 10 استشارات، بخمس نسخ مخزَّنة من النص المفرَّغ لكل منها. لا تزال استشارتان بانتظار ملاحظات Hanah جديدة. يحتفظ معدل خطأ الكلمات (WER) وأدلة التفريغ النصي بتواريخ التقاطها الأصلية؛ ويحتفظ الكتبة الآخرون بنتائجهم الحالية. قيّم Sonnet 5.5 بمستوى استدلال متوسط الملاحظاتِ الجديدة تقييمًا معمّى، تلاه تدقيق غير معمّى أجراه وكيل ذكاء اصطناعي؛ والنتائج أولية، دون تحقق مستقل من ممارسين سريريين. توقيتات Hanah تقديرية: يستند انتظار الملاحظة المطلوبة إلى مدة التوليد المقيسة عبر API مضافًا إليها مهلة جاهزية قدرها 2 ثانية؛ ويضيف الوقتُ حتى اعتماد الملاحظة وقتَ المراجعة والتصحيح المقدَّر. ولا يشمل أيٌّ منهما إنهاء التفريغ النصي ولا الحِمل الإضافي للتطبيق، بانتظار إعادة تشغيل حيّة.
اختبار معياري · 22 سبتمبر 2026
الكتبة الطبيون بالذكاء الاصطناعي في مواجهة طبيب يكتب الملاحظة
6 كتبة، و12 استشارة، معاينة ملاحظات Hanah على 10 حالات؛ وتحتفظ النتائج الأخرى بتواريخها الأصلية. عمود الطبيب مأخوذ من دراسات منشورة، لا من تقييمنا.
اسحب الجدول أو مرِّره لرؤية جميع الكتبة ←
| المقياس | ملاحظة كتبها الطبيب (دراسات منشورة)* | Hanah | Heidi | CliniScripts | Lyrebird | Freed | PatientNotes |
|---|---|---|---|---|---|---|---|
| حقائق مفقودة أو جزئية أو مختلَقة تتعلق بحالة مرضية أو عرَض أو علامة (Weiner وآخرون)، قبل أي مراجعة. الأقل أفضل. | |||||||
| كنسبة من الوقت الذي يستغرقه الطبيب لكتابتها (100%). الأقل أفضل. | |||||||
| العمل اللازم لتصحيح الملاحظة، كنسبة من كتابتها يدويًا. الأقل أفضل. | |||||||
| ملاحظات خالية من الحقائق المفقودة أو الجزئية أو المختلَقة. الأعلى أفضل. |
- * ملاحظة كتبها الطبيب (دراسات منشورة): أرقام منشورة، لم نقيّمها بأنفسنا. الأخطاء: Weiner وآخرون 2020، 105 ملاحظات لأطباء قورنت بتسجيلات سرية للزيارة: 5.0 أخطاء لكل ملاحظة وفق معيارهم (أي خطأ يتعلق بحالة مرضية أو عرَض أو علامة؛ ونحن نحتسبها بالطريقة نفسها)، و1.72 من الأمور الموثَّقة التي لم تحدث (صف إشارات الهلوسة)، و6.1 أخطاء إجمالًا، و10% فقط من الملاحظات خالية من الأخطاء؛ والأرقام لكل تشغيل هي الرقم لكل ملاحظة × 12. الوقت: Apathy وآخرون 2023، وسيط قدره 8.1 دقيقة من الكتابة الفعلية للملاحظة لكل زيارة لدى 203,728 طبيبًا في العيادات الخارجية. جهد التحرير 100% بحكم التعريف: فالطبيب يكتب الملاحظة كاملة. المقارنة ليست متكافئة، وهي في صالح الأطباء: تحتسب قائمتنا كل حقيقة ذات صلة والالتقاطات الجزئية، بصرامة أكبر من Weiner وآخرين؛ وعند تقييمها بطريقتنا، سجّلت ملاحظات ستة أطباء 26 خطأً لكل منها. يتطلب خط الأساس المتكافئ أن يكتب ممارسون سريريون ملاحظات لاستشاراتنا نفسها، وأن تُقيَّم تقييمًا معمّى إلى جانب الكتبة؛ ولم نفعل ذلك بعد.
جميع المقاييس · 22 سبتمبر 2026
6 من الكتبة الطبيين بالذكاء الاصطناعي، و12 استشارة
قُيِّمت الملاحظات تقييمًا معمّى، مع تدقيق أوّلي أجراه وكيل ذكاء اصطناعي لنتائج Hanah الجديدة. كل رقم هو المتوسط عبر التشغيلات؛ اختر أي خلية لرؤية جميع التشغيلات.
معاينة محلية — أُعيد توليد ملاحظات Hanah في 11 أكتوبر 2026 باستخدام GPT-6.1 Sol بمستوى استدلال منخفض: 50 ملاحظة عبر 10 استشارات، بخمس نسخ مخزَّنة من النص المفرَّغ لكل منها. لا تزال استشارتان بانتظار ملاحظات Hanah جديدة. يحتفظ معدل خطأ الكلمات (WER) وأدلة التفريغ النصي بتواريخ التقاطها الأصلية؛ ويحتفظ الكتبة الآخرون بنتائجهم الحالية. قيّم Sonnet 5.5 بمستوى استدلال متوسط الملاحظاتِ الجديدة تقييمًا معمّى، تلاه تدقيق غير معمّى أجراه وكيل ذكاء اصطناعي؛ والنتائج أولية، دون تحقق مستقل من ممارسين سريريين. توقيتات Hanah تقديرية: يستند انتظار الملاحظة المطلوبة إلى مدة التوليد المقيسة عبر API مضافًا إليها مهلة جاهزية قدرها 2 ثانية؛ ويضيف الوقتُ حتى اعتماد الملاحظة وقتَ المراجعة والتصحيح المقدَّر. ولا يشمل أيٌّ منهما إنهاء التفريغ النصي ولا الحِمل الإضافي للتطبيق، بانتظار إعادة تشغيل حيّة.
اسحب الجدول أو مرِّره لرؤية جميع الكتبة ←
| المقياس | ملاحظة كتبها الطبيب (دراسات منشورة)* | Hanah1 | Heidi | CliniScripts2 | Lyrebird3 | Freed4 | PatientNotes |
|---|---|---|---|---|---|---|---|
| مدة الانتظار من الضغط على زر الإيقاف حتى جاهزية الملاحظة المقيَّمة، مضافًا إليها وقت المراجعة: أي المدة اللازمة حتى يمكن اعتماد الملاحظة إذا رُوجعت فورًا. | 8 د 6 ث |
||||||
| نسبة الملاحظات التي التقطت كل حقيقة في قائمة حقائق الاستشارة كاملةً دون أي إشارة هلوسة، فلم تحتج إلى أي تحرير. | 10% |
||||||
| 0% تعني عدم الحاجة إلى أي تحرير؛ و100% تعني كتابة الملاحظة كاملةً يدويًا. تُرجَّح التصحيحات بحسب العمل الذي تتطلبه: الحقيقة الجزئية 1، والحقيقة المفقودة 2، وإشارة الهلوسة 3، و+2 عندما تُلتقط حقيقة بشكل خاطئ. | 100% |
||||||
| الوقت المقدَّر الذي يحتاجه الممارس السريري لتدقيق ملاحظة واحدة وتصحيحها (القراءة بسرعة 190 wpm، و5 ث لتذكُّر كل حقيقة مفقودة أو جزئية وكتابتها بسرعة 40 wpm، و12 ث للتحقق من كل إشارة هلوسة وحذفها، بما في ذلك الحقيقة الخاطئة قبل إعادة كتابتها). | — |
||||||
| أبطأ ملاحظة منفردة في المراجعة والتصحيح عبر جميع الحالات والتشغيلات. | — |
||||||
| وقت كتابة الملاحظة بنفسك (8.1 دقيقة، وهو الوسيط لدى Apathy وآخرين 2023) مطروحًا منه وقت المراجعة. | — |
||||||
| مدى سرعة مراجعة الملاحظة وتصحيحها مقارنةً بكتابتها بنفسك (8.1 دقيقة، وهو الوسيط لدى Apathy وآخرين 2023). القيمة السالبة تعني أنها أبطأ. | — |
||||||
| الحقائق ذات الصلة التي أغفلتها الملاحظة أو التقطتها جزئيًا فقط، مضافًا إليها كل إشارة هلوسة (يُحتسب التفصيل الخاطئ مرتين، كما لدى Weiner وآخرين)، مقابل قائمة بكل حقيقة قيلت وتتعلق بحالات المريض المرضية أو أعراضه أو علاماته (Weiner وآخرون 2020). المجموع لكل تشغيل، عبر 12 حالة. العدد المجرَّد موجود في «إشارات الهلوسة». | 60.0 |
||||||
| أخطاء الملاحظة (معيار Weiner وآخرين) لكل 100 ملاحظة، مضروبةً في 70%: في دراسة Biro وآخرين (2025)، ترك الأطباء العامّون الذين راجعوا مسودات مولَّدة بالذكاء الاصطناعي كل خطأ مزروع دون تصحيح في 65–75% من الحالات. هذا تقدير لما ستسمح المراجعة المعتادة بمروره، عبر 12 حالة. | 500 |
||||||
| مقارنةً بـ5.0 أخطاء لكل ملاحظة وجدها Weiner وآخرون (2020) في ملاحظات الأطباء عند مطابقتها مع تسجيلات الزيارة. يحتسب اختبارنا الأخطاء بصرامة أكبر من اختبارهم، لذا فإن هذه المقارنة في صالح الأطباء. 100% تعني عدم وجود أخطاء؛ وما دون 0% يعني أخطاء أكثر من الأطباء. عبر 11 حالة. | 0% |
||||||
| كل عنصر سريري توثّقه الملاحظة ولا تدعمه الاستشارة، بما في ذلك القيم والجوانب والجرعات والتوقيتات الخاطئة: وهي ما يسميه Weiner وآخرون (2020) أخطاء الارتكاب. لا تُحتسب إعادة الصياغة ولا المصطلحات السريرية الدالة على ما قيل. المتوسط لكل ملاحظة، عبر 12 حالة. | 1.72 |
||||||
| العناصر المفقودة والعناصر الجزئية وإشارات الهلوسة التي سيحتاج الممارس السريري إلى تصحيحها، لكل ملاحظة. | 6.06 |
||||||
| نسبة ما التقطته الملاحظة من قائمة حقائق كل استشارة (تُحتسب الحقيقة الجزئية نصفًا). | — |
||||||
| كلمات أُسيء سماعها تغيّر المعنى السريري، مقيَّمة تقييمًا معمّى، عبر 12 حالة. | — |
||||||
| معدل خطأ الكلمات المجمَّع لكل تشغيل مقابل المرجع البشري. تُحتسب كل كلمة بالتساوي، بما في ذلك كلمات الحشو. | — |
||||||
| الوسيط الزمني من الضغط على زر الإيقاف حتى جاهزية الملاحظة المكتوبة وفق تعليماتنا، لكل تشغيل. | — |
||||||
| متوسط بيانات الشبكة لكل استشارة، لكل تشغيل. | — |
||||||
| حجم الذاكرة الفعلية المستخدَمة (أداة `footprint` في macOS، المطابقة لعمود Memory في Activity Monitor)، مأخوذًا كل دقيقة خلال استشارة واحدة متصلة لاختبار الإجهاد مدتها 50 دقيقة — بمعزل عن مجموعة الحالات الـ12 أعلاه. سجّل جميع الكتبة هذه الزيارة في الوقت نفسه على جهاز واحد، لذا تعكس القيم المطلقة التنافس المشترك بينهم على الموارد، لا الاستخدام الفعلي المنفرد. قارن الكتبة بعضهم ببعض هنا، لا بمواصفات الجهاز. | — |
||||||
| استخدام CPU في كل دقيقة خلال استشارة اختبار الإجهاد المتصلة نفسها البالغة 50 دقيقة، مقيسًا بمجموع ثواني CPU المستهلكة مقسومًا على الزمن الفعلي المنقضي (وقد يتجاوز 100% عندما يستخدم الكاتب أكثر من نواة واحدة). عمل جميع الكتبة في آن واحد على جهاز واحد. | — |
- * ملاحظة كتبها الطبيب (دراسات منشورة): أرقام منشورة، لم نقيّمها بأنفسنا. الأخطاء: Weiner وآخرون 2020، 105 ملاحظات لأطباء قورنت بتسجيلات سرية للزيارة: 5.0 أخطاء لكل ملاحظة وفق معيارهم (أي خطأ يتعلق بحالة مرضية أو عرَض أو علامة؛ ونحن نحتسبها بالطريقة نفسها)، و1.72 من الأمور الموثَّقة التي لم تحدث (صف إشارات الهلوسة)، و6.1 أخطاء إجمالًا، و10% فقط من الملاحظات خالية من الأخطاء؛ والأرقام لكل تشغيل هي الرقم لكل ملاحظة × 12. الوقت: Apathy وآخرون 2023، وسيط قدره 8.1 دقيقة من الكتابة الفعلية للملاحظة لكل زيارة لدى 203,728 طبيبًا في العيادات الخارجية. جهد التحرير 100% بحكم التعريف: فالطبيب يكتب الملاحظة كاملة. المقارنة ليست متكافئة، وهي في صالح الأطباء: تحتسب قائمتنا كل حقيقة ذات صلة والالتقاطات الجزئية، بصرامة أكبر من Weiner وآخرين؛ وعند تقييمها بطريقتنا، سجّلت ملاحظات ستة أطباء 26 خطأً لكل منها. يتطلب خط الأساس المتكافئ أن يكتب ممارسون سريريون ملاحظات لاستشاراتنا نفسها، وأن تُقيَّم تقييمًا معمّى إلى جانب الكتبة؛ ولم نفعل ذلك بعد.
- معاينة محلية — أُعيد توليد ملاحظات Hanah في 11 أكتوبر 2026 باستخدام GPT-6.1 Sol بمستوى استدلال منخفض: 50 ملاحظة عبر 10 استشارات، بخمس نسخ مخزَّنة من النص المفرَّغ لكل منها. لا تزال استشارتان بانتظار ملاحظات Hanah جديدة. يحتفظ معدل خطأ الكلمات (WER) وأدلة التفريغ النصي بتواريخ التقاطها الأصلية؛ ويحتفظ الكتبة الآخرون بنتائجهم الحالية. قيّم Sonnet 5.5 بمستوى استدلال متوسط الملاحظاتِ الجديدة تقييمًا معمّى، تلاه تدقيق غير معمّى أجراه وكيل ذكاء اصطناعي؛ والنتائج أولية، دون تحقق مستقل من ممارسين سريريين. توقيتات Hanah تقديرية: يستند انتظار الملاحظة المطلوبة إلى مدة التوليد المقيسة عبر API مضافًا إليها مهلة جاهزية قدرها 2 ثانية؛ ويضيف الوقتُ حتى اعتماد الملاحظة وقتَ المراجعة والتصحيح المقدَّر. ولا يشمل أيٌّ منهما إنهاء التفريغ النصي ولا الحِمل الإضافي للتطبيق، بانتظار إعادة تشغيل حيّة.
- معاينة محلية — أُعيد توليد ملاحظات Hanah في 11 أكتوبر 2026 باستخدام GPT-6.1 Sol بمستوى استدلال منخفض: 50 ملاحظة عبر 10 استشارات، بخمس نسخ مخزَّنة من النص المفرَّغ لكل منها. لا تزال استشارتان بانتظار ملاحظات Hanah جديدة. يحتفظ معدل خطأ الكلمات (WER) وأدلة التفريغ النصي بتواريخ التقاطها الأصلية؛ ويحتفظ الكتبة الآخرون بنتائجهم الحالية. قيّم Sonnet 5.5 بمستوى استدلال متوسط الملاحظاتِ الجديدة تقييمًا معمّى، تلاه تدقيق غير معمّى أجراه وكيل ذكاء اصطناعي؛ والنتائج أولية، دون تحقق مستقل من ممارسين سريريين. توقيتات Hanah من الإيقاف حتى الملاحظة وحتى الاعتماد غير متاحة بانتظار إعادة تشغيل حيّة.
- تُحتسب ملاحظة واحدة إخفاقًا للمنتج: PatientNotes في الحالة day5 ضمن التشغيل 2.
- يأتي متوسط ذاكرة RAM ومتوسط استخدام CPU من اختبار إجهاد منفصل — استشارة علاج عضلي واحدة متصلة مدتها 50 دقيقة، سجّلها جميع الكتبة في الوقت نفسه على جهاز واحد — لا من مجموعة الحالات الـ12 أعلاه؛ وتعكس القيم المطلقة ذلك التنافس المشترك على الموارد.
- استقرار المنصة عبر التشغيلات المتكررة (للعلم، ولا يدخل في الترتيب): تطلّب التقاط استشارتَي قصور القلب والنوبة الإقفارية العابرة (TIA) من Lyrebird إجراء 17 محاولة للحصول على 10 تشغيلات صالحة. فشلت سبع منها من جهة Lyrebird: خطأ في توليد الملاحظة نُسب إلى «ضعف الإنترنت» بينما ولّد خمسة كتبة آخرون ملاحظاتهم على الاتصال نفسه، واتصال خادم أُغلق، وأربع عمليات تحميل لم تصبح صالحة للاستخدام خلال 30 ثانية، وملاحظة توقفت في منتصف قسم Subjective لكنها عُرضت على أنها مكتملة. أُعيدت تلك الالتقاطات. ولم يواجه أي كاتب آخر إخفاقًا من جهة التطبيق في هذه الاستشارات.
- 1 Hanah: معاينة محلية — أُعيد توليد ملاحظات Hanah في 11 أكتوبر 2026 باستخدام GPT-6.1 Sol بمستوى استدلال منخفض: 50 ملاحظة عبر 10 استشارات، بخمس نسخ مخزَّنة من النص المفرَّغ لكل منها. لا تزال استشارتان بانتظار ملاحظات Hanah جديدة. يحتفظ معدل خطأ الكلمات (WER) وأدلة التفريغ النصي بتواريخ التقاطها الأصلية؛ ويحتفظ الكتبة الآخرون بنتائجهم الحالية. قيّم Sonnet 5.5 بمستوى استدلال متوسط الملاحظاتِ الجديدة تقييمًا معمّى، تلاه تدقيق غير معمّى أجراه وكيل ذكاء اصطناعي؛ والنتائج أولية، دون تحقق مستقل من ممارسين سريريين. توقيتات Hanah تقديرية: يستند انتظار الملاحظة المطلوبة إلى مدة التوليد المقيسة عبر API مضافًا إليها مهلة جاهزية قدرها 2 ثانية؛ ويضيف الوقتُ حتى اعتماد الملاحظة وقتَ المراجعة والتصحيح المقدَّر. ولا يشمل أيٌّ منهما إنهاء التفريغ النصي ولا الحِمل الإضافي للتطبيق، بانتظار إعادة تشغيل حيّة..
- 2 CliniScripts: ملاحظات قُيِّمت على القالب الافتراضي.
- 3 Lyrebird: 11 حالة (دون الفرنسية).
- 4 Freed: ملاحظات قُيِّمت على القالب الافتراضي.
نزِّل كل شيء: ملف JSON واحد يضم درجات كل تشغيل ونصوصه المفرَّغة وملاحظاته ومبررات لجنة التحكيم، أو درجات كل تشغيل بصيغة CSV.
مواجهة مباشرة
اختر كاتبَين
يُشَدّ كل حبل نحو الكاتب الذي كان أداؤه أفضل في ذلك المقياس. وكلما ابتعد الشريط عن خط المنتصف، كانت الفجوة أكبر. أما النطاق المظلَّل فهو المدى الذي سيقع فيه الشريط بين أفضل تشغيل وأسوأ تشغيل لكل كاتب: فالنطاق العريض يعني نتائج غير متسقة. والأرقام الصغيرة هي مدى التشغيلات.
انتقل إلى مستوى أعمق
النتائج حسب الحالة السريرية
تقارن كل استشارة بين الكتبة على الصوت نفسه عبر جميع التشغيلات المقيَّمة. افتح أيًّا منها لقراءة النص المفرَّغ والملاحظة لكل تشغيل، مع تحديد كل خطأ.
الاستشارات باللغة الإنجليزية
ستة اختبارات لاستشارات باللغة الإنجليزية.
استشارات بلغات محددة
مقارنات منفصلة مع استبعادات بحسب القدرات، وتفسير يراعي الترجمة.
إملاء الطبيب
تُقيَّم مقابل نصوص مرجعية حرفية مبنية على مفاتيح الإجابة الصادرة عن الناشر. لا تُحتسب أوامر الإملاء المنطوقة.
اختبار الإجهاد لجلسة مطوَّلة
تسجيل اصطناعي مدته 50 دقيقة مع مشتِّتات في الخلفية. مُدرَج في النتائج الإجمالية.