结果 · 发布于
肌肉疗法最佳 AI 医疗记录员
在我们测试的 50 分钟肌肉疗法问诊中，Hanah 是表现最佳的 AI 医疗记录员，且领先幅度超出误差范围。Heidi 位居第二，CliniScripts 位居第三。
测试内容
该问诊是一次较长的治疗疗程，针对长期腰痛急性发作和右肩酸痛，最后给出居家拉伸方案和搬举建议。这是本基准测试中的压力测试，背景中播放着电视声和另一个房间传来的人声。六款 AI 医疗记录员各录制了五次，每份病历均对照问诊中提到的 40 项临床事实进行盲评。我们按病历定稿用时对记录员排名，即按下停止键后的等待时间，加上临床医生审阅病历并修正错误所需的时间。录音、转录稿、病历及评分理由均可在测试页面查看。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误数 | 覆盖率 | 每份病历的幻觉标记数 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 分 45 秒 | 5.2 | 92% | 1.0 | 1.3% |
| 2 | Heidi | 3 分 41 秒+56 秒 | 9.6+4.4 | 82%−10% | 0.8 | 3.9%+2.6% |
| 3 | CliniScripts | 4 分 16 秒+1 分 31 秒 | 9.0+3.8 | 88%−4% | 2.2+1.2 | 1.1% |
| 4 | Freed | 4 分 40 秒+1 分 54 秒 | 6.4+1.2 | 86%−5% | 0.8 | 66.8%+65.6% |
问诊结束后，Hanah 的病历平均 2 分 45 秒即可定稿，五轮之间的用时相差不超过 7 秒。病历覆盖了 92% 的事实，每份病历的病历错误为 5.2 处，是所有记录员中最少的。审阅和修改所需时间比亲自撰写病历少 71%。
Heidi 以 3 分 41 秒位居第二，CliniScripts 以 4 分 16 秒位居第三。CliniScripts 的覆盖率位居第二，为 88%。Freed 以 4 分 40 秒位居第四，其病历错误数位列第二少，为 6.4 处。
CliniScripts 和 Hanah 的词错误率（WER）最低，分别为 1.1% 和 1.3%，差异在误差范围内。两者在任何一轮中都没有改变临床含义的听错词。
发现
- Hanah 在 50 分钟内使用了 13.5 MB 数据。Heidi 使用了 145 MB，CliniScripts 使用了 132 MB。
- Freed 的转录稿中包含大段不属于本次问诊的内容，使其词错误率高达 66.8%。
- 尽管背景中有电视声，Hanah 和 CliniScripts 在任何一轮中都没有改变临床含义的听错词。
- Hanah 每份病历中的那一个幻觉标记在每一轮中都相同：它将腰痛描述为“机械性模式”急性发作，而治疗师并未这样说。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现，并附有视频讲解。