结果 · 发布于
胃肠病学最佳 AI 医疗记录员
在一次胃肠炎问诊中，Hanah 是我们测试过的表现最好的 AI 医疗记录员。 Heidi 排名第二，两者差距很小，处于误差范围之内；Lyrebird 排名第三。
测试内容
这次问诊是 PriMock57 数据集中的一次全科医生视频问诊：患者在家中有人患病后，出现了三天的水样腹泻，伴下腹部绞痛。六款 AI 医疗记录员各录制 5 次，每份病历都对照问诊中所述的 45 条临床事实进行盲评。我们按病历定稿用时对记录员排名，即按下停止后的等待时间，加上临床医生审阅病历并修正错误所需的时间。录音、转录稿、病历和评分理由见测试页面。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误 | 覆盖率 | 每份病历的幻觉标记 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 分 16 秒 | 2.8 | 96% | 0.2 | 15.2% |
| 2 | Heidi | 3 分 19 秒+1 分 03 秒 | 9.6+6.8 | 83%−12% | 1.6+1.4 | 16.0%+0.8% |
| 3 | Lyrebird | 3 分 51 秒+1 分 36 秒 | 11.6+8.8 | 83%−12% | 3.4+3.2 | 20.0%+4.9% |
| 4 | Freed | 4 分 17 秒+2 分 01 秒 | 6.0+3.2 | 91%−5% | 0.8+0.6 | 21.4%+6.3% |
问诊结束后，Hanah 病历平均在 2 分 16 秒后即可定稿。它捕获了 96% 的事实，每份病历有 2.8 处病历错误和 0.2 个幻觉标记。审阅并修改它所用的时间比自己撰写病历少 77%。
Heidi 平均用时 3 分 19 秒。它最快的一轮为 2 分 9 秒，比 Hanah 最慢的一轮（2 分 30 秒）还快，因此两者在用时上处于误差范围之内。Hanah 的平均用时更短，病历错误不到 Heidi 的三分之一，为 2.8 处对 9.6 处。
Lyrebird 以 3 分 51 秒排名第三，Freed 以 4 分 17 秒排名第四。Freed 的病历错误数第二少，为 6.0 处；覆盖率第二高，为 91%，但生成病历所需的时间更长。
在这次问诊中，Hanah 的词错误率（WER）也最低，为 15.2%，Heidi 为 16.0%。
发现
- 医生建议使用 Dioralyte 口服补液盐冲剂。Hanah 在全部 5 份转录稿中都正确拼写了 Dioralyte，其他所有记录员在每一轮中都拼错了。
- 患者说腹泻“makes me feel weak”（让我感觉没力气）。Lyrebird 在全部 5 轮中都把这句话转录成了“fainted for a week”（晕倒了一周），不过这一错误没有进入它的病历。
- 医生建议服用对乙酰氨基酚，“每次两片，每天最多四次”，但没有说明规格。Heidi 和 Lyrebird 都在部分病历中写入了以毫克为单位的剂量，这计为一个幻觉标记。
- 医生说不需要使用抗生素。Hanah 和 Lyrebird 在 5 轮中有 4 轮记录了这一点，Heidi 在全部 5 轮中都遗漏了。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现，并附有视频讲解。