结果 · 发布于
皮肤病学最佳 AI 医疗记录员
在一次湿疹问诊中，Hanah 是我们测试过的表现最好的 AI 医疗记录员。 Heidi 排名第二，在用时上与 Hanah 处于误差范围之内；Lyrebird 排名第三。
测试内容
这次问诊是 PriMock57 数据集中的一次全科医生视频问诊：患者胸部、双手和肘窝出现瘙痒、疼痛的红色皮疹已有四天，夜间因此难以入睡。六款 AI 医疗记录员各录制 5 次，每份病历都对照问诊中所述的 39 条临床事实进行盲评。我们按病历定稿用时对记录员排名，即按下停止后的等待时间，加上临床医生审阅病历并修正错误所需的时间。录音、转录稿、病历和评分理由见测试页面。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误 | 覆盖率 | 每份病历的幻觉标记 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 分 46 秒 | 4.6 | 93% | 1.0 | 14.3% |
| 2 | Heidi | 3 分 17 秒+32 秒 | 8.0+3.4 | 84%−9% | 0.4 | 16.9%+2.5% |
| 3 | Lyrebird | 4 分 02 秒+1 分 17 秒 | 12.0+7.4 | 86%−7% | 3.8+2.8 | 18.7%+4.4% |
| 4 | Freed | 4 分 44 秒+1 分 58 秒 | 6.6+2.0 | 89%−4% | 0.6 | 20.3%+5.9% |
| 5 | CliniScripts | 4 分 58 秒+2 分 12 秒 | 12.8+8.2 | 74%−18% | 1.0 | 14.9%+0.6% |
问诊结束后，Hanah 病历平均在 2 分 46 秒后即可定稿。它捕获了 93% 的事实，每份病历有 4.6 处病历错误和 1.0 个幻觉标记。审阅并修改它所用的时间比自己撰写病历少 71%。
Heidi 平均用时 3 分 17 秒。它最快的一轮为 2 分 41 秒，比 Hanah 最慢的一轮（2 分 59 秒）还快，因此两者在用时上处于误差范围之内。Hanah 的平均用时更短，捕获的问诊内容更多（93% 对 84%），病历错误也更少（4.6 处对 8.0 处）。在这次问诊中，Heidi 的幻觉标记最少，为每份病历 0.4 个。
Lyrebird 以 4 分 2 秒排名第三，Freed 以 4 分 44 秒排名第四。Freed 的病历错误数第二少，为 6.6 处。
在这次问诊中，Hanah 的词错误率（WER）也最低，为 14.3%，CliniScripts 以 14.9% 紧随其后。
发现
- 皮疹累及胸部、双手和肘窝。Lyrebird 在全部 5 份转录稿中都把“elbows”（肘部）听成了“eyebrows”（眉毛）。
- 患者说面部没有皮疹。Hanah 在每一轮中都记录了这一点，Heidi 在 5 轮中只有 1 轮记录，Lyrebird 一轮也没有记录。
- 患者因皮疹无法去徒步。Hanah 和 Lyrebird 在每一轮中都记录了这一点，Heidi 则从未完整记录。
- 在这项测试中，Hanah 的大部分幻觉标记都是常规阴性表述，例如“排便正常”，而医生从未问过相关问题。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现，并附有视频讲解。