结果 · 发布于
全科医生最佳 AI 医疗记录员
在全科问诊中,Hanah 是我们测试过的表现最好的 AI 医疗记录员。 在六次问诊中的每一次,它的病历定稿用时都排名第一,病历错误也都最少。Heidi 排名第二,Lyrebird 排名第三。
测试内容
这些问诊是来自 PriMock57 的全科医生视频问诊,PriMock57 是一个公开的模拟初级保健问诊数据集。六款 AI 医疗记录员通过各自的网页应用对每次问诊各录制 5 次,每份病历都对照问诊中所述的临床事实进行盲评。我们按病历定稿用时对记录员排名,即按下停止后的等待时间,加上临床医生审阅病历并修正错误所需的时间。
基准测试共有八次 PriMock57 问诊。本排名涵盖每款记录员都已发布病历的六次:胃肠炎、湿疹、胸痛、过敏反应、情绪低落和泌尿系统症状。Hanah 在心力衰竭和疑似 TIA 问诊中的病历尚未纳入已发布的结果,这两次问诊不计入任何记录员的平均值。Hanah 已发布的病历于 2026 年 10 月 11 日重新生成,其按下停止后的等待时间是根据实测生成时间得出的估计值。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误 | 覆盖率 | 每份病历的幻觉标记 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 1 分 50 秒 | 1.5 | 98% | 0.4 | 14.0% |
| 2 | Heidi | 3 分 31 秒+1 分 41 秒 | 9.9+8.4 | 79%−19% | 1.3+0.9 | 14.6%+0.6% |
| 3 | Lyrebird | 3 分 56 秒+2 分 06 秒 | 11.2+9.7 | 83%−15% | 3.7+3.4 | 17.5%+3.5% |
| 4 | CliniScripts | 4 分 24 秒+2 分 34 秒 | 11.6+10.1 | 75%−23% | 1.5+1.1 | 14.8%+0.8% |
| 5 | Freed | 4 分 51 秒+3 分 01 秒 | 8.5+7.0 | 87%−11% | 2.5+2.1 | 19.5%+5.5% |
| 6 | PatientNotes | 5 分 56 秒+4 分 06 秒 | 19.6+18.2 | 58%−40% | 2.9+2.5 | 19.6%+5.6% |
在这六次问诊中,问诊结束后 Hanah 病历平均在 1 分 50 秒后即可定稿。它捕获了 98% 的事实,每份病历有 1.5 处病历错误和 0.4 个幻觉标记。审阅并修改它所用的时间比自己撰写病历少 79%,30% 的 Hanah 病历按原样即可定稿。在六次问诊中,Hanah 最慢的一轮用时 2 分 46 秒,比其他所有记录员的平均用时都快。
Heidi 以 3 分 31 秒排名第二,每份病历有 9.9 处病历错误,覆盖率 79%;它的幻觉标记数第二少,为每份病历 1.3 个。Lyrebird 以 3 分 56 秒排名第三。Freed 的病历错误数第二少,为 8.5 处;覆盖率第二高,为 87%;病历定稿用时为 4 分 51 秒。
Hanah 的词错误率最低,为 14.0%,Heidi 为 14.6%,CliniScripts 为 14.8%。
各次问诊结果
| 问诊 | 第一名 | 第二名 | 文章 |
|---|---|---|---|
| 胃肠炎 | Hanah,1 分 44 秒 | Heidi,3 分 19 秒 | 阅读 |
| 湿疹 | Hanah,2 分 01 秒 | Heidi,3 分 17 秒 | 阅读 |
| 胸痛 | Hanah,1 分 31 秒 | CliniScripts,2 分 58 秒 | 阅读 |
| 过敏反应 | Hanah,2 分 21 秒 | Heidi,4 分 44 秒 | 阅读 |
| 情绪低落 | Hanah,1 分 37 秒 | Heidi,2 分 45 秒 | 阅读 |
| 泌尿系统症状 | Hanah,1 分 46 秒 | Lyrebird,3 分 34 秒 | 阅读 |
表中时间为各记录员在该次问诊中的平均病历定稿用时。
发现
- 在胸痛问诊中,患者表示除阿司匹林外没有其他过敏。Hanah 在每一轮中都记录了这一点,其他所有记录员在每一轮中都遗漏了。
- 同一位患者说阿司匹林会让他们肿起来。Heidi、Freed 和 Lyrebird 在全部 5 轮中都把“swell up”(肿起来)转录成了“swallow”(吞咽)。Hanah 和 CliniScripts 每次都听对了。
- 在胃肠炎问诊中,医生说不需要使用抗生素。Hanah 在每一轮中都记录了这一点,Lyrebird 在 5 轮中有 4 轮记录了。Heidi、Freed 和 PatientNotes 在每一轮中都遗漏了。
- 在情绪低落问诊中,患者表示既往没有任何心理健康方面的诊断。Hanah 在每一轮中都记录了这一点,其他记录员在任何一轮中都没有完整记录。
- 在泌尿系统症状问诊中,医生说无需进行尿液检测即可治疗感染。Hanah 在每一轮中都记录了这一点,其他记录员在任何一轮中都没有记录。
- 在全部 5 轮心力衰竭测试中,Heidi 都把呋塞米(furosemide)转录成了“fruit”(水果)。Lyrebird 的转录稿在全部 5 轮中都出现了没有人说过的奥美拉唑(omeprazole),并且每一轮都遗漏了比索洛尔(bisoprolol)。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现,并附有视频讲解。
常见问题
全科医生最好的 AI 医疗记录员是哪一款?
我们用六次录制的全科问诊测试了六款 AI 医疗记录员,Hanah 表现最好。问诊结束后,它的病历最快可以定稿,平均为 1 分 50 秒,并且在每一次问诊中病历错误都最少。Heidi 排名第二,Lyrebird 排名第三。
AI 医疗记录员在全科问诊中的准确度如何?
在六次全科问诊中,各记录员捕获了问诊中所述临床事实的 58% 到 98%。病历错误(遗漏的事实与无依据的陈述合计)从 Hanah 的每份病历 1.5 处到 PatientNotes 的 19.6 处不等。每份病历在定稿前仍需临床医生审阅。
AI 医疗记录员会在全科病历中编造内容吗?
我们测试的每款记录员都会在病历中加入一些问诊中没有说过的细节。我们将这些计为幻觉标记。Hanah 最少,为每份病历 0.4 个;Lyrebird 最多,为 3.7 个。
AI 医疗记录员能为全科医生节省多少时间?
医生手写一份病历的中位用时为 8.1 分钟(Apathy et al. 2023)。审阅并修改一份 Hanah 病历所用的时间比这少 79%。其他记录员节省了 34% 到 62%。
这些 AI 医疗记录员是如何测试的?
每款记录员都通过自己的网页应用,对 PriMock57 数据集中相同的全科问诊各录制 5 次。每份病历都对照问诊中所述临床事实的清单进行盲评。录音、转录稿、病历和评分理由均发布在各测试页面上。
查看结果