النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي للغة الهندية
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في استشارة أُجريت بالكامل باللغة الهندية. وجاء CliniScripts ثانيًا وHeidi ثالثًا. وكان CliniScripts وHanah ضمن هامش الخطأ في دقة الملاحظة، وتقدّم Hanah في الوقت والتفريغ.
الاختبار
الاستشارة زيارة قصيرة للعيادة باللغة الهندية: تعب منذ أسبوعين، وصداع يشتد في المساء، ودوخة عرضية، وقلة نوم بسبب ضغوط العمل، مع طلب فحص دم وتقديم نصائح بشأن الوجبات والماء والنوم. سجّلها ستة كتبة طبيين بالذكاء الاصطناعي خمس مرات لكل منهم، مع ضبط كلٍّ منهم على اللغة الهندية حيثما يطلب المنتج تحديد لغة، وقُيّمت كل ملاحظة تقييمًا معمّى في مقابل الحقائق السريرية الـ17 التي قيلت في الاستشارة. وكان يجوز كتابة الملاحظات بالإنجليزية أو بالهندية. ونرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، أي مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الطبيب لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. ويتوفر التسجيل والنصوص المفرَّغة والملاحظات وأسباب التقييم في صفحة الاختبار.
النتائج
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 1 د 07 ث | 2.4 | 93% | 0.0 | 2.0% |
| 2 | CliniScripts | 1 د 50 ث+42 ث | 2.2 | 94% | 0.6+0.6 | 3.6%+1.6% |
| 3 | Heidi | 1 د 56 ث+49 ث | 3.8+1.4 | 86%−7% | 0.6+0.6 | 4.3%+2.3% |
| 4 | Lyrebird | 2 د 12 ث+1 د 05 ث | 5.8+3.4 | 82%−11% | 1.4+1.4 | 3.5%+1.5% |
كانت ملاحظة Hanah جاهزة للاعتماد في المتوسط بعد دقيقة و7 ثوانٍ من انتهاء الاستشارة. والتقطت 93% من الحقائق، بمتوسط 2.4 خطأ لكل ملاحظة، ودون أي إشارة هلوسة في أي تشغيل. واستغرقت مراجعتها وتصحيحها وقتًا أقل بنسبة 88% من كتابة الملاحظة بنفسك.
وجاء CliniScripts ثانيًا بدقيقة و50 ثانية. وسجّل أقل عدد من أخطاء الملاحظة بواقع 2.2 لكل ملاحظة وأعلى تغطية بنسبة 94%، وكلاهما ضمن هامش الخطأ مقارنةً بـHanah. وجاء Heidi ثالثًا بدقيقة و56 ثانية، بمتوسط 3.8 أخطاء لكل ملاحظة، وLyrebird رابعًا بدقيقتين و12 ثانية.
وكان Hanah الأدق في تفريغ اللغة الهندية، بمعدل خطأ كلمات قدره 2.0%. وتلاه Lyrebird بنسبة 3.5% ثم CliniScripts بنسبة 3.6%. وأنتج Hanah ملاحظته بعد وسيط قدره 10 ثوانٍ من الإيقاف.
النتائج التفصيلية
- قال المريض إنه يتخطى بعض الوجبات أحيانًا. فترجم أحد الكتبة ذلك على أن القنّب "يُتخطّى أحيانًا"، وسجّل تعاطي القنّب في كل ملاحظة.
- لم يسجّل Hanah أي إشارة هلوسة في أي تشغيل، وكان الكاتب الوحيد الذي خلا منها.
- عزا المريض قلة نومه إلى ضغوط العمل. وسجّل CliniScripts ذلك في كل تشغيل، في حين لم يسجّله Hanah إلا جزئيًا في كل تشغيل.
- استهلك Hanah 3.3 MB من البيانات للاستشارة، وهو الأقل بين جميع الكتبة. واستهلك Heidi 23.3 MB.
تتناول مراجعتنا لـHeidi أداء Heidi في الاستشارات الاثنتي عشرة كلها، مع جولة مصوّرة بالفيديو.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.