مراجعات · نُشر في
مراجعة Heidi: الكاتب الطبي بالذكاء الاصطناعي في اختبار على 12 استشارة
Heidi سريع ونادرًا ما يختلق تفاصيل، لكن ملاحظاته أغفلت نحو حقيقة سريرية واحدة من كل خمس، ولم تكن أيٌّ منها جاهزة للاعتماد دون تعديل. اختبرناه في مقابل خمسة كتبة طبيين آخرين بالذكاء الاصطناعي على الاستشارات المسجَّلة الاثنتي عشرة نفسها، خمس مرات لكل منها.
أبرز النتائج
- استغرق Heidi في المتوسط 3 دقائق و25 ثانية من الضغط على زر الإيقاف حتى اعتماد الملاحظة، بما في ذلك المراجعة. جاء بذلك في المرتبة الثانية من ستة، وأسرع بنحو 5 دقائق من الوسيط البالغ 8.1 دقيقة الذي يقضيه الطبيب في كتابة الملاحظة يدويًا.
- استغرقت مراجعة ملاحظة Heidi وتصحيحها دقيقتين و58 ثانية. وبلغ جهد التحرير 22% من جهد كتابة الملاحظة من الصفر، في المرتبة الثانية من ستة.
- بلغ متوسط Heidi إشارة هلوسة واحدة (1.0) لكل ملاحظة، في المرتبة الثانية من ستة بعد Hanah بمتوسط 0.8. ووجدت الأبحاث المنشورة 1.7 لكل ملاحظة كتبها الطبيب.
- التقطت ملاحظات Heidi 81% من الحقائق السريرية التي قيلت في الاستشارة، في المرتبة الرابعة من ستة.
- بلغ متوسط أخطاء الملاحظة لدى Heidi 9.0، مع احتساب الحقائق المُغفَلة والهلوسات معًا. جاء بذلك في المرتبة الثالثة من ستة، بعد Hanah بمتوسط 4.1 وFreed بمتوسط 8.3. ووجدت الأبحاث المنشورة 5.0 لكل ملاحظة كتبها الطبيب.
- لم تكن أيٌّ من ملاحظات Heidi الستين جاهزة للاعتماد كما كُتبت.
- بلغ معدل خطأ الكلمات (WER) لدى Heidi 13.6%، في المرتبة الثالثة من ستة. وارتكب 21.2 خطأً ذا دلالة سريرية في النص المفرَّغ في كل تشغيل كامل، أي أكثر من ضعف ما ارتكبه Hanah (8.6) وCliniScripts (9.0).
- استهلك Heidi أكبر قدر من البيانات بين جميع الكتبة في كل استشارة، بمتوسط 44.6 MB، وأكبر قدر من الذاكرة في اختبار الإجهاد الذي أجريناه، 1.9 GB.
هل Heidi دقيق؟
يُفرِّغ Heidi الكلام جيدًا وفق معدل خطأ الكلمات، إذ بلغ 13.6%، على مقربة من CliniScripts (13.0%) وHanah (12.8%). غير أن نصوصه المفرَّغة احتوت على أخطاء ذات دلالة سريرية أكثر مما يوحي به هذا الرقم، بواقع 21.2 خطأً في كل تشغيل كامل للاستشارات الاثنتي عشرة.
وقد وصل بعض هذه الأخطاء إلى الملاحظة. ففي استشارة قصور القلب، سأل الطبيب عن الميتوبرولول فصحّح له المريض: البيسوبرولول. وأدرج Heidi الميتوبرولول، أي حاصر بيتا الخاطئ، في أربع من ملاحظاته الخمس. وفي استشارة التفاعل التحسسي، تحوّلت كلمة "dizzy" (دائخ) إلى "busy" (مشغول) في النصوص المفرَّغة الخمسة كلها، ولم تسجّل أيٌّ من ملاحظات Heidi الدوخة.
التقطت ملاحظات Heidi 81% من الحقائق السريرية، وبلغ متوسط أخطائها 9.0 لكل ملاحظة. وإذا بقي 70% من هذه الأخطاء دون تصحيح عند المراجعة، كما أفاد Biro وآخرون في 2025، فسيصل نحو 630 خطأً إلى السجل لكل 100 ملاحظة من Heidi، مقابل 500 للملاحظات التي كتبها الأطباء.
هل يهلوس Heidi؟
اختلق Heidi تفاصيل أقل مما اختلقه معظم الكتبة الذين اختبرناهم. فقد بلغ متوسطه إشارة هلوسة واحدة (1.0) لكل ملاحظة، والمقصود بها تفصيل ورد في الملاحظة ولم يُقَل في الاستشارة. وبلغ هذا المتوسط 0.8 لدى Hanah، و1.4 لدى CliniScripts، و2.5 لدى Freed، و2.6 لدى PatientNotes، و3.4 لدى Lyrebird. وسجّل Heidi أقل عدد من الإشارات، أو تعادل في أقل عدد، في خمس من الاستشارات الاثنتي عشرة.
ما مدى سرعة Heidi؟
السرعة هي أكبر نقاط قوة Heidi. فقد اعتُمدت ملاحظة Heidi في المتوسط بعد 3 دقائق و25 ثانية من انتهاء الاستشارة، بما في ذلك الوقت الذي يحتاجه الطبيب لمراجعتها وتصحيحها. ولم يكن أسرع منه سوى Hanah، بدقيقتين و23 ثانية. واستغرق CliniScripts 4 دقائق و3 ثوانٍ، وLyrebird 4 دقائق و6 ثوانٍ، وFreed 4 دقائق و40 ثانية، وPatientNotes 5 دقائق و39 ثانية.
كيف يُقارَن Heidi بـFreed؟
كان Heidi أسرع واختلق أقل. وكان Freed أكثر اكتمالًا.
- الوقت حتى اعتماد الملاحظة: Heidi 3 دقائق و25 ثانية، وFreed 4 دقائق و40 ثانية.
- التغطية السريرية: Freed 87%، وHeidi 81%.
- أخطاء الملاحظة لكل ملاحظة: Freed 8.3، وHeidi 9.0.
- إشارات الهلوسة لكل ملاحظة: Heidi 1.0، وFreed 2.5.
- معدل خطأ الكلمات: Heidi 13.6%، وFreed 23.1%.
- البيانات لكل استشارة: Freed 17.1 MB، وHeidi 44.6 MB.
كيف يُقارَن Heidi بـHanah؟
تقدّم Hanah على Heidi في كل مقياس نتتبّعه. وكانت أقرب الفوارق في معدل خطأ الكلمات (12.8% مقابل 13.6%) وإشارات الهلوسة (0.8 مقابل 1.0). وكانت أوسع فجوة في التغطية، 93% مقابل 81%. وبلغ متوسط أخطاء Hanah 4.1 لكل ملاحظة مقابل 9.0 لدى Heidi، واعتُمدت ملاحظاته أسرع بنحو دقيقة، واستهلك نحو خُمس البيانات.
كيف يُقارَن Heidi بـLyrebird وCliniScripts؟
كان Heidi أسرع من كليهما في الوصول إلى ملاحظة معتمدة. والتقط Lyrebird حقائق أكثر بقليل (82% مقابل 81%)، لكن متوسطه بلغ 11.6 خطأً و3.4 إشارات هلوسة لكل ملاحظة، مقابل 9.0 و1.0 لدى Heidi. وسجّل CliniScripts معدل خطأ كلمات أدنى بقليل وأخطاءً ذات دلالة في النص المفرَّغ أقل بكثير (9.0 في كل تشغيل مقابل 21.2)، لكن متوسط أخطائه بلغ 9.7 لكل ملاحظة.
أين يكون أداء Heidi في أفضله وأسوئه؟
كانت أفضل استشارات Heidi استشارة المزاج المنخفض في مجال الصحة النفسية. فقد سجّل فيها أقل عدد من إشارات الهلوسة بين جميع الكتبة، وأدنى معدل لخطأ الكلمات، وثاني أقل عدد من أخطاء الملاحظة. وسجّل كذلك أقل عدد من الإشارات في استشارة النوبة الإقفارية العابرة المشتبه بها.
وكان أضعف مجالاته طب القلب. ففي استشارة ألم الصدر، جاء Heidi في المرتبة الخامسة من ستة في أخطاء الملاحظة وفي التغطية كليهما. أما قصور القلب، حيث كان معدل خطأ الكلمات لديه الأدنى بين جميع الكتبة، فهو الموضع الذي ظهر فيه حاصر بيتا الخاطئ. وترد النتائج حسب التخصص في مقالاتنا عن طب القلب والصحة النفسية وطب الأعصاب.
كم يستهلك Heidi من البيانات والذاكرة؟
استهلك Heidi نحو 45 MB من البيانات لكل استشارة، وهو الأكثر بين جميع الكتبة في كل استشارة، ونحو 145 MB في زيارة مدتها 50 دقيقة. وفي اختبار الإجهاد الذي أجريناه، سجّل أعلى متوسط لاستهلاك الذاكرة، نحو 1.9 GB، أي أكثر قليلًا من Lyrebird. ولهذا أهميته عند ضعف الاتصال أو على حاسوب قديم. ويشرح مقال عرض النطاق كيف نقيس ذلك.
كيف أجرينا الاختبار
استمع كل كاتب إلى الاستشارات الاثنتي عشرة نفسها، خمس مرات لكل منها. وقيّم مقيِّم معمّى بالذكاء الاصطناعي كل ملاحظة في مقابل قائمة بكل حقيقة سريرية قيلت في الاستشارة. أما أرقام الملاحظات التي كتبها الأطباء فمصدرها دراسات منشورة: Weiner وآخرون 2020 لأخطاء الملاحظة الواحدة، وApathy وآخرون 2023 لوقت الكتابة. واختبارنا أشد صرامة من اختباراتهم، وهو ما يصبّ في صالح الأطباء في المقارنة. وترد نتائج Heidi لكل استشارة في صفحة نتائجه، والمنهجية الكاملة في كيف نختبر.
النص المفرَّغ للفيديو
السرد الكامل لـHeidi - مراجعة حقيقية. كل طابع زمني يفتح الفيديو عند ذلك الفصل.
0:00 مقدمة
تتوقف معظم مراجعات الكتبة الطبيين بالذكاء الاصطناعي عند الشاشة: الواجهة، والقوالب، ومدى أناقة مظهر الملاحظة. وقليل جدًا منها يتعمق في جودة الملاحظات ودقة النصوص المفرَّغة. يُعدّ Heidi من أشهر الكتبة الطبيين بالذكاء الاصطناعي، وقررنا إجراء مراجعة تقنية له: ما سمعه، وما كتبه، وما فاته، والوقت الذي يحتاجه الممارس السريري لتصحيحه. ثم قارنّاه بخمسة كتبة آخرين شائعين.
0:24 كيف أجرينا الاختبار
استمع كل كاتب إلى الاستشارات الاثنتي عشرة نفسها، خمس مرات لكل منها. وقيّم مقيِّم آلي معمّى كل ملاحظة مقابل قائمة بكل حقيقة سريرية قيلت. أما أرقام الملاحظات التي كتبها الأطباء فمأخوذة من دراسات منشورة. واختبارنا أكثر صرامة من اختبارهم، لذا فإن تلك المقارنة في صالح الأطباء.
0:40 السرعة
أكبر نقاط قوة Heidi هي السرعة. فمن الضغط على زر الإيقاف حتى اعتماد الملاحظة، بما في ذلك المراجعة، بلغ متوسطه ثلاث دقائق وخمسًا وعشرين ثانية. أما كتابة الملاحظة يدويًا فتستغرق وسيطًا يزيد قليلًا على ثماني دقائق، لذا يوفّر Heidi نحو خمس دقائق لكل ملاحظة.
0:54 جهد المراجعة
استغرقت مراجعة ملاحظة Heidi وتصحيحها أقل بقليل من ثلاث دقائق. وبلغ جهد التحرير نحو 22% من كتابة الملاحظة من الصفر. وجاء كلاهما في المرتبة الثانية من ست.
1:03 الهلوسات
كما أن Heidi لم يختلق إلا القليل جدًا. فقد بلغ متوسطه إشارة هلوسة واحدة لكل ملاحظة، متأخرًا بفارق ضئيل عن Hanah البالغ 0.8، ومتقدمًا بفارق واضح على CliniScripts البالغ 1.4. وهذا أقل من 1.7 المسجَّل للملاحظات التي كتبها الأطباء، وكان لدى Heidi أقل عدد من الإشارات، أو تعادل في الأقل عددًا، في خمس من الاستشارات الاثنتي عشرة.
1:22 التفريغ النصي
بلغ معدل خطأ الكلمات لديه 13.6%، متأخرًا قليلًا عن CliniScripts وHanah، ومتقدمًا بفارق واضح على Lyrebird وPatientNotes وFreed. لكن أخطاء النص المفرَّغ المهمة سريريًا تروي قصة مختلفة: نحو 21 خطأً في كل تشغيل كامل، أي أكثر من ضعف ما لدى Hanah وCliniScripts، وأقل بفارق ضئيل فقط مما لدى Freed.
1:40 أخطاء التفريغ النصي في سياقها
تكون لهذه الأخطاء أهمية قصوى حين تصل إلى الملاحظة. ففي استشارة لقصور القلب، سأل الطبيب عن الميتوبرولول (metoprolol)، فصحّحه المريض: البيسوبرولول (bisoprolol). لكن Heidi أدرج الميتوبرولول، وهو حاصر بيتا الخاطئ، في أربع من ملاحظاته الخمس. ووقع Lyrebird وPatientNotes في الخطأ نفسه، بينما لم يقع فيه Hanah ولا Freed ولا CliniScripts.
ولم ينتقل كل خطأ إلى الملاحظة. فقد حوّل النص المفرَّغ لدى Heidi كلمة «furosemide» (فوروسيميد) إلى «fruit» (فاكهة) في كل مرة، ومع ذلك ذكرت كل ملاحظة الفوروسيميد. أما في استشارة التفاعل التحسسي، فقد صارت «dizzy» (دائخ) «busy» (مشغول) في النصوص المفرَّغة الخمسة جميعها، ولم تسجّل أيٌّ من ملاحظات Heidi الدوخة. والتقطها CliniScripts في أربع من خمس.
2:16 الاكتمال
نقطة الضعف الرئيسية هي الاكتمال. فقد التقطت ملاحظات Heidi نحو 81% من الحقائق السريرية، فأغفلت قرابة حقيقة من كل خمس. وهذا يضعه خلف Lyrebird بقليل وأمام CliniScripts بقليل، لكنه دون Freed وHanah بفارق واضح، ولم يتصدر Heidi التغطية في أي استشارة.
2:31 أخطاء الملاحظة
بجمع الحقائق الفائتة والهلوسات معًا، بلغ متوسط Heidi نحو تسعة أخطاء لكل ملاحظة، متأخرًا بفارق ضئيل عن Freed ومتقدمًا على CliniScripts. أما الدراسة المنشورة عن الملاحظات التي كتبها الأطباء فوجدت خمسة. وتراوحت تشغيلات Heidi بين نحو سبعة ونصف وعشرة، ولم تكن أيٌّ من ملاحظاته جاهزة للاعتماد دون تعديلات.
2:50 أخطاء تصل إلى السجل
إذا بقيت 70% من هذه الأخطاء دون تصحيح عند المراجعة، كما أفاد Biro وآخرون في 2025، فسيصل نحو 630 خطأً إلى السجل لكل مئة ملاحظة من Heidi، مقابل 500 للملاحظات التي كتبها الأطباء.
3:02 أفضل الحالات وأسوؤها
تفاوتت النتائج بحسب التخصص. كانت أفضل حالات Heidi استشارة انخفاض المزاج في مجال الصحة النفسية. فقد سجّل فيها أقل عدد من إشارات الهلوسة بين جميع الكتبة، وأدنى معدل لخطأ الكلمات، متقدمًا بقليل على CliniScripts، وثاني أقل عدد من أخطاء الملاحظة. كما سجّل أقل عدد من الإشارات في استشارة الاشتباه بنوبة إقفارية عابرة (TIA).
وكان أضعف مجالاته طب القلب. ففي حالة ألم الصدر، جاء خامسًا من ستة في كلٍّ من أخطاء الملاحظة والتغطية، متقدمًا على PatientNotes وحده. أما قصور القلب، حيث كان معدل خطأ الكلمات لديه الأدنى بين الجميع، فهو الموضع الذي ظهر فيه حاصر بيتا الخاطئ.
3:35 استهلاك الموارد
كان Heidi أيضًا أثقل كاتب اختبرناه. فقد استهلك نحو 45 ميغابايت من البيانات لكل استشارة، وهو الأعلى بين جميع الكتبة في كل استشارة، ونحو 145 في زيارة مدتها خمسون دقيقة. وفي اختبار الإجهاد، سجّل أعلى متوسط لاستخدام الذاكرة، بنحو 1.9 غيغابايت، أي أكثر قليلًا من Lyrebird. وهذا مهم عند ضعف الاتصال أو على حاسوب أقدم.
3:56 أين يقف Heidi
فأين يقف Heidi بين المنافسين؟ جاء في المرتبة الثانية في السرعة، ووقت المراجعة، وجهد التحرير، والهلوسات. وجاء ثالثًا في التفريغ النصي وأخطاء الملاحظة، ورابعًا في التغطية، وأخيرًا في استهلاك البيانات والذاكرة.
4:08 Heidi مقابل Hanah
في مواجهة متصدر الاختبار المعياري، Hanah، تبدو الفجوة واضحة: تقدّم Hanah في كل مقياس نتتبعه. وكانت أقرب الفجوات في معدل خطأ الكلمات وإشارات الهلوسة، وأوسعها في التغطية، 93% مقابل 81، وارتكب Hanah أقل من نصف عدد الأخطاء لكل ملاحظة. كما اعتمد Hanah الملاحظات أسرع بنحو دقيقة، مستهلكًا نحو خُمس البيانات.
4:28 Heidi مقابل البقية
في مواجهة الأربعة الآخرين، كان Heidi أسرع منهم جميعًا في الوصول إلى ملاحظة معتمدة. التقط Freed حقائق أكثر وارتكب أخطاء أقل بقليل لكل ملاحظة، لكنه استغرق أكثر من دقيقة إضافية. وتفوّق CliniScripts على Heidi بفارق طفيف في معدل خطأ الكلمات، وكانت أخطاؤه المهمة في النص المفرَّغ أقل بكثير، ومع ذلك ترك أخطاء أكثر في ملاحظاته. أما Lyrebird وPatientNotes فتأخرا عن Heidi في السرعة وفي أخطاء الملاحظة كليهما.
4:50 الحكم
Heidi سريع، ونادرًا ما يختلق التفاصيل، وتفوّق على كتابة الملاحظة يدويًا بنحو خمس دقائق. أما نقاط ضعفه فهي الاكتمال، وأخطاء التفريغ النصي التي قد تصل إلى الملاحظة، وأثقل استهلاك للبيانات والذاكرة قسناه. ويحتل المرتبة الثانية من ست في السرعة والهلوسات، والثالثة في أخطاء الملاحظة، متأخرًا بفارق ضئيل عن Freed ومتقدمًا على CliniScripts وLyrebird وPatientNotes. وكحال كل كاتب اختبرناه، لا تزال ملاحظاته تحتاج إلى مراجعة دقيقة قبل اعتمادها.
5:18 مزيد من الاختبارات
سنضيف مزيدًا من الحالات، ومزيدًا من الكتبة، وتحليلًا أعمق لكل منتج. اشترك لتبقى على اطلاع، واضغط على زر الإعجاب بالفيديو إن وجدته مفيدًا.
5:26 النتائج الكاملة
استكشف نتائج Heidi، استشارةً تلو الأخرى، على موقع ScribeStandard.com.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.