结果 · 发布于
疼痛管理领域最佳 AI 医疗记录员
**在我们测试的疼痛管理口述中，Hanah 是表现最佳的 AI 医疗记录员。**排名靠前的几款记录员在准确性上相差不大，其中若干差异在误差范围内，但 Hanah 的病历定稿最快，并且每一轮都覆盖了全部事实。
测试内容
该测试是一段简短的疼痛门诊口述小结，患者为一名 55 岁女性，主诉腰痛伴左下肢麻木，MRI 显示 L4-5 椎间孔狭窄，计划行腰椎硬膜外类固醇注射。六款 AI 医疗记录员各录制了五次，每份病历均对照口述中的 12 项临床事实进行盲评。我们按病历定稿用时对记录员排名，即按下停止键后的等待时间，加上临床医生审阅病历并修正错误所需的时间。参考转录稿尚未逐字对照音频核实，因此其词错误率（WER）为暂定数据。录音、转录稿、病历及评分理由均可在测试页面查看。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误数 | 覆盖率 | 每份病历的幻觉标记数 | 词错误率（暂定） |
|---|---|---|---|---|---|---|
| 1 | Hanah | 42 秒 | 1.0 | 100% | 1.0 | 7.9% |
| 2 | Lyrebird | 54 秒+12 秒 | 1.4+0.4 | 92%−8% | 0.4 | 7.0% |
| 3 | CliniScripts | 59 秒+18 秒 | 1.4+0.4 | 92%−8% | 0.4 | 6.7% |
| 5 | PatientNotes | 1 分 02 秒+20 秒 | 0.8 | 99%−1% | 0.6 | 12.3%+4.4% |
口述结束后，Hanah 的病历平均 42 秒即可定稿，审阅用时 33 秒。在全部五轮中，病历均覆盖了 100% 的事实。每份 Hanah 病历带有一个幻觉标记，因此每份病历的病历错误为 1.0 处。
Lyrebird 以 54 秒位居第二，CliniScripts 以 59 秒位居第三。两者每份病历的病历错误均为 1.4 处，覆盖率均为 92%。CliniScripts 最快的一轮用时 39 秒，快于 Hanah 的平均用时；CliniScripts 的五份病历中有一份完全无需编辑。
在本次口述中，PatientNotes 的病历错误最少，每份病历 0.8 处，五份病历中有两份无需编辑。其与 Hanah 的 1.0 处之间的差异在误差范围内，而 PatientNotes 的病历定稿用时为 1 分 2 秒。
CliniScripts 的暂定词错误率最低，为 6.7%，Lyrebird 为 7.0%，Hanah 为 7.9%。
发现
- 口述中提到了患者的族裔。Hanah 和 PatientNotes 在每一轮中都记录了这一信息，CliniScripts 在五轮中记录了一轮，Lyrebird 一轮也没有记录。
- Hanah 每份病历中的那一个幻觉标记在每一轮中都相同：它将 MRI 结果与左下肢症状联系起来，而口述中并未作出这一关联。
- Hanah、CliniScripts 和 Lyrebird 均没有改变临床含义的听错词。其他记录员把“foraminal stenosis”（椎间孔狭窄）和“extremity”（肢体）识别错了。
- Hanah 在这段口述中使用了 2.5 MB 数据，是所有记录员中最少的。