结果 · 发布于
法语问诊最佳 AI 医疗记录员
**在我们测试的法语与英语交替使用的问诊中,Hanah 是表现最佳的 AI 医疗记录员。**每份 Hanah 病历都覆盖了全部事实且没有幻觉标记,它也是唯一生成了无需修改即可定稿病历的记录员。Heidi 位居第二,CliniScripts 位居第三。
测试内容
该问诊全程在法语和英语之间切换。患者腹痛四天,疼痛始于上腹部,后转移至右下腹,经评估疑为阑尾炎,收治入院等待外科会诊。五款 AI 医疗记录员各录制了五次,每份病历均对照问诊中提到的 32 项临床事实进行盲评。Lyrebird 不支持此病例。我们按病历定稿用时对记录员排名,即按下停止键后的等待时间,加上临床医生审阅病历并修正错误所需的时间。录音、转录稿、病历及评分理由均可在测试页面查看。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误数 | 覆盖率 | 每份病历的幻觉标记数 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 1 分 09 秒 | 0.0 | 100% | 0.0 | 7.3% |
| 2 | Heidi | 1 分 45 秒+35 秒 | 2.4+2.4 | 94%−6% | 0.4+0.4 | 13.1%+5.9% |
| 3 | CliniScripts | 1 分 48 秒+39 秒 | 2.2+2.2 | 96%−4% | 0.6+0.6 | 6.7% |
问诊结束后,Hanah 的病历平均 1 分 9 秒即可定稿。在全部五轮中,病历均覆盖了 100% 的事实,没有病历错误,也没有幻觉标记。每份 Hanah 病历都无需修改即可定稿,其审阅时间仅为阅读时间。
Heidi 以 1 分 45 秒位居第二,CliniScripts 以 1 分 48 秒位居第三,两者相差不大。CliniScripts 每份病历的病历错误为 2.2 处,Heidi 为 2.4 处。
在本次问诊中,CliniScripts 的词错误率(WER)最低,为 6.7%,Hanah 为 7.3%,差异在误差范围内。Heidi 和 CliniScripts 没有改变临床含义的听错词;Hanah 在五轮中共有一个。
发现
- 医生表示将开始静脉补液、镇痛和抗生素治疗。一款记录员把“fluid, pain”听成了“felodipine”(非洛地平),并在每份病历中都写入了静脉注射非洛地平,而这是一种降压药。
- 患者用法语表示排便正常。Hanah 的转录稿有一次将其识别为“anormal”(异常),但每份 Hanah 病历仍记录为无排便问题。
- 医生警告,阑尾炎如不治疗可能导致阑尾穿孔。Hanah 和 CliniScripts 在每一轮中都记录了这一点,Heidi 在五轮中遗漏了三轮。
- Hanah 在本次问诊中使用了 6.5 MB 数据,Heidi 使用了 31.3 MB。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现,并附有视频讲解。
查看结果