结果 · 发布于
泌尿外科最佳 AI 医疗记录员
在我们测试的泌尿系统症状问诊中，Hanah 是表现最佳的 AI 医疗记录员。Lyrebird 和 Heidi 分列第二和第三，两者相差不大。
测试内容
该问诊是 PriMock57 数据集中的一次全科医生视频问诊：患者对一种抗生素过敏，六天来出现排尿疼痛、尿液恶臭、血尿和下腹正中疼痛。六款 AI 医疗记录员各录制了五次，每份病历均对照问诊中提到的 42 项临床事实进行盲评。我们按病历定稿用时对记录员排名，即按下停止键后的等待时间，加上临床医生审阅病历并修正错误所需的时间。录音、转录稿、病历及评分理由均可在测试页面查看。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误数 | 覆盖率 | 每份病历的幻觉标记数 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 分 25 秒 | 5.0 | 93% | 1.2 | 8.8% |
| 2 | Lyrebird | 3 分 34 秒+1 分 09 秒 | 10.4+5.4 | 88%−5% | 3.2+2.0 | 10.6%+1.8% |
| 3 | Heidi | 3 分 39 秒+1 分 14 秒 | 11.4+6.4 | 78%−16% | 0.8 | 10.4%+1.6% |
| 4 | CliniScripts | 4 分 17 秒+1 分 52 秒 | 12.2+7.2 | 75%−18% | 0.6 | 8.8% |
问诊结束后，Hanah 的病历平均 2 分 25 秒即可定稿。病历覆盖了 93% 的事实，每份病历的病历错误为 5.0 处。审阅和修改所需时间比亲自撰写病历少 74%。
Lyrebird 平均用时 3 分 34 秒，Heidi 为 3 分 39 秒。Heidi 最快的一轮用时 2 分 52 秒，快于 Hanah 最慢的一轮（2 分 57 秒），因此其用时差异在误差范围内。Hanah 的平均用时更短，病历错误不到两者任何一方的一半：Hanah 为 5.0 处，Lyrebird 为 10.4 处，Heidi 为 11.4 处。Lyrebird 的覆盖率位居第二，为 88%。
在本次问诊中，Hanah 的词错误率（WER）最低，为 8.8%，与 CliniScripts 持平。Hanah 的转录稿在任何一轮中都没有改变临床含义的听错词。
发现
- 医生表示，这种感染无需尿检即可治疗。六款记录员生成的 30 份病历中，没有一份记录了这一点。
- 患者正在服用美贝维林（mebeverine）。其他所有记录员都至少在一轮中听错了这个药名，其中一款将其听成了“heparin”（肝素），并在每份病历中都把肝素这种抗凝药列入了患者的用药清单。
- 处方已发送至患者指定的药房，需尽快开始服用。Hanah 在每一轮中都完整记录了这一点，Heidi 每一轮都记录了部分内容。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现，并附有视频讲解。