结果 · 发布于
心理健康领域最佳 AI 医疗记录员
在我们测试的情绪低落问诊中，Hanah 是表现最佳的 AI 医疗记录员。Heidi 和 Lyrebird 紧随其后，三者的病历定稿用时差异均在误差范围内。Hanah 的平均用时最短，病历错误也最少。
测试内容
该问诊是 PriMock57 数据集中的一次全科医生视频问诊：患者自开始新工作以来，两个月内精力不足、睡眠差、食欲下降，并有自杀家族史。六款 AI 医疗记录员各录制了五次，每份病历均对照问诊中提到的 26 项临床事实进行盲评。我们按病历定稿用时对记录员排名，即按下停止键后的等待时间，加上临床医生审阅病历并修正错误所需的时间。录音、转录稿、病历及评分理由均可在测试页面查看。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误数 | 覆盖率 | 每份病历的幻觉标记数 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 分 26 秒 | 4.2 | 92% | 1.4 | 13.7% |
| 2 | Heidi | 2 分 45 秒+19 秒 | 6.8+2.6 | 80%−12% | 0.8 | 13.2% |
| 3 | Lyrebird | 3 分 02 秒+36 秒 | 8.0+3.8 | 84%−8% | 2.8+1.4 | 17.8%+4.1% |
| 4 | CliniScripts | 4 分 40 秒+2 分 15 秒 | 13.2+9.0 | 65%−27% | 3.2+1.8 | 13.3% |
问诊结束后，Hanah 的病历平均 2 分 26 秒即可定稿。病历覆盖了 92% 的事实，每份病历的病历错误为 4.2 处。审阅和修改所需时间比亲自撰写病历少 77%。
Heidi 平均用时 2 分 45 秒，Lyrebird 为 3 分 2 秒。Hanah 最慢的一轮用时 2 分 52 秒，而 Heidi 最快的一轮为 2 分 27 秒，Lyrebird 为 2 分 26 秒，因此我们认为三者相差不大。Heidi 每份病历的病历错误为 6.8 处，Lyrebird 为 8.0 处。Heidi 的幻觉标记最少，每份病历 0.8 个，Hanah 为 1.4 个。
在本次问诊中，Heidi 的词错误率（WER）也最低，为 13.2%，CliniScripts 为 13.3%，Hanah 为 13.7%。按下停止键后，Lyrebird 生成病历的速度最快，但由于审阅时间较长，总体排名第三。
发现
- 患者表示既往没有任何心理健康方面的诊断。六款记录员生成的 30 份病历中，没有一份完整记录这一点。
- 患者表示没有其他躯体或精神疾病家族史，包括抑郁症。Hanah 在每一轮中都记录了这一点，Heidi 在五轮中记录了两轮，Lyrebird 记录了一轮，CliniScripts 一轮也没有记录。
- 经过几番问答，患者表示晨勃情况没有变化。Hanah 在每一轮中都正确记录了这一点，Heidi 和 Lyrebird 在五轮中各有三轮正确记录。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现，并附有视频讲解。