النتائج · نُشر في
أفضل كاتب طبي بالذكاء الاصطناعي للغة الفرنسية
كان Hanah أفضل كاتب طبي بالذكاء الاصطناعي اختبرناه في استشارة تتنقل بين الفرنسية والإنجليزية. فقد التقطت كل ملاحظة من ملاحظات Hanah كل حقيقة دون أي إشارة هلوسة، وكان الكاتب الوحيد الذي قدّم ملاحظة جاهزة للاعتماد كما كُتبت. وجاء Heidi ثانيًا وCliniScripts ثالثًا.
الاختبار
تتنقل الاستشارة بين الفرنسية والإنجليزية من أولها إلى آخرها. مريض يعاني منذ أربعة أيام ألمًا في البطن بدأ في أعلاه ثم انتقل إلى الجانب الأيمن السفلي، يُقيَّم لاحتمال التهاب الزائدة الدودية ويُدخَل المستشفى لمراجعة جراحية. سجّلها خمسة من الكتبة الطبيين بالذكاء الاصطناعي خمس مرات لكل منهم، وقُيّمت كل ملاحظة تقييمًا معمّى مقابل الحقائق السريرية الـ32 التي قيلت في الاستشارة. ولا يدعم Lyrebird هذه الحالة. نرتّب الكتبة حسب الوقت حتى اعتماد الملاحظة، وهو مدة الانتظار بعد الضغط على زر الإيقاف مضافًا إليها الوقت الذي يحتاجه الممارس السريري لمراجعة الملاحظة وتصحيح ما فيها من أخطاء. التسجيل والنصوص المفرَّغة والملاحظات وأسباب التقييم متاحة على صفحة الاختبار.
النتائج
| الترتيب | الكاتب | الوقت حتى اعتماد الملاحظة | أخطاء الملاحظة لكل ملاحظة | التغطية | إشارات الهلوسة لكل ملاحظة | معدل خطأ الكلمات |
|---|---|---|---|---|---|---|
| 1 | Hanah | 1 د 09 ث | 0.0 | 100% | 0.0 | 7.3% |
| 2 | Heidi | 1 د 45 ث+35 ث | 2.4+2.4 | 94%−6% | 0.4+0.4 | 13.1%+5.9% |
| 3 | CliniScripts | 1 د 48 ث+39 ث | 2.2+2.2 | 96%−4% | 0.6+0.6 | 6.7% |
كانت ملاحظة Hanah جاهزة للاعتماد بعد 1 دقيقة و9 ثوانٍ من انتهاء الاستشارة في المتوسط. وفي التشغيلات الخمسة كلها التقطت 100% من الحقائق، دون أي أخطاء في الملاحظة ودون أي إشارات هلوسة. وكانت كل ملاحظة من ملاحظات Hanah جاهزة للاعتماد كما كُتبت، فوقت مراجعتها هو وقت القراءة وحده.
جاء Heidi ثانيًا بـ1 دقيقة و45 ثانية وCliniScripts ثالثًا بـ1 دقيقة و48 ثانية، متقاربين أحدهما من الآخر. وسجّل CliniScripts معدل 2.2 خطأ لكل ملاحظة، وسجّل Heidi معدل 2.4.
وسجّل CliniScripts أدنى معدل خطأ الكلمات في هذه الاستشارة بنسبة 6.7%، يليه Hanah بنسبة 7.3%، وهو فرق يقع ضمن هامش الخطأ. ولم تقع لدى Heidi وCliniScripts أي كلمات أُسيء سماعها تغيّر المعنى السريري، بينما وقعت لدى Hanah كلمة واحدة عبر تشغيلاته الخمسة.
ما وجدناه
- قال الطبيب إنه سيبدأ إعطاء السوائل الوريدية ومسكنات الألم والمضادات الحيوية. وسمع أحد الكتبة عبارة «fluid, pain» على أنها «felodipine» (الفيلوديبين)، فكتب «فيلوديبين وريدي»، وهو دواء لضغط الدم، في كل ملاحظة.
- قال المريض بالفرنسية إن حركة أمعائه طبيعية. وقد نقل النص المفرَّغ لـHanah ذلك مرة على أنه «anormal» (غير طبيعي)، لكن كل ملاحظات Hanah سجّلت مع ذلك عدم وجود مشكلات في الأمعاء.
- حذّر الطبيب من أن الزائدة الدودية قد تنفجر إن لم تُعالَج. سجّل Hanah وCliniScripts ذلك في كل تشغيل، وأغفله Heidi في ثلاثة تشغيلات من خمسة.
- استخدم Hanah مقدار 6.5 MB من البيانات لهذه الاستشارة، مقابل 31.3 MB لـHeidi.
تتناول مراجعتنا لـHeidi أداء Heidi في الاستشارات الـ12 كلها، مع جولة مصوّرة بالفيديو.
الأرقام الواردة في هذا المقال مأخوذة من الاختبار المعياري لـ ScribeStandard. اطّلع على النتائج الكاملة وكل اختبار وكيف نختبر.