结果 · 发布于
神经内科最佳 AI 医疗记录员
在我们测试的疑似短暂性脑缺血发作（TIA）问诊中，Hanah 是表现最佳的 AI 医疗记录员。Heidi 位居第二，用时差异在误差范围内；Lyrebird 位居第三。
测试内容
该问诊是 PriMock57 数据集中的一次全科医生视频问诊：患者在数天内反复出现右手针刺感和麻木，伴右侧上下肢无力，症状时有时无。六款 AI 医疗记录员各录制了五次，每份病历均对照问诊中提到的 46 项临床事实进行盲评。我们按病历定稿用时对记录员排名，即按下停止键后的等待时间，加上临床医生审阅病历并修正错误所需的时间。录音、转录稿、病历及评分理由均可在测试页面查看。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误数 | 覆盖率 | 每份病历的幻觉标记数 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 3 分 41 秒 | 5.4 | 94% | 0.8 | 9.1% |
| 2 | Heidi | 5 分 07 秒+1 分 27 秒 | 11.8+6.4 | 79%−15% | 0.4 | 10.8%+1.7% |
| 3 | Lyrebird | 6 分 09 秒+2 分 28 秒 | 14.6+9.2 | 82%−12% | 3.6+2.8 | 15.1%+6.0% |
| 4 | CliniScripts | 6 分 12 秒+2 分 32 秒 | 12.2+6.8 | 80%−14% | 1.4+0.6 | 8.7% |
问诊结束后，Hanah 的病历平均 3 分 41 秒即可定稿。病历覆盖了 94% 的事实，每份病历的病历错误为 5.4 处。审阅和修改所需时间比亲自撰写病历少 62%。
Heidi 平均用时 5 分 7 秒。其最快的一轮用时 3 分 50 秒，快于 Hanah 最慢的一轮（3 分 51 秒），因此两者的用时差异在误差范围内。Hanah 的平均用时更短，病历错误不到 Heidi 的一半，分别为 5.4 处和 11.8 处。Heidi 的幻觉标记最少，每份病历 0.4 个，Hanah 为 0.8 个。
Lyrebird 以 6 分 9 秒位居第三，CliniScripts 以 6 分 12 秒位居第四。在本次问诊中，CliniScripts 的词错误率（WER）最低，为 8.7%，Hanah 为 9.1%。
发现
- 通话过程中视频中断，医生看不到患者，也未进行任何检查。Hanah 在每一轮中都记录了这一点，而 Heidi 从未完整记录。
- 患者在网上查阅资料后自行开始服用阿司匹林。Hanah 在每一轮中都记录了这一点，而 Lyrebird 每一轮都只记录了部分内容。
- 患者表示除此之外身体健康。Hanah 在每一轮中都记录了这一点，而 Heidi 和 CliniScripts 每一轮都遗漏了。
- 在五份转录稿中，Lyrebird 有四份把“asthma”（哮喘）听成了“acne”（痤疮）。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现，并附有视频讲解。