结果 · 发布于
心脏病学最佳 AI 医疗记录员
在我们基准测试的两次心脏问诊中,Hanah 都是我们测试过的表现最好的 AI 医疗记录员。 在每次问诊中,它的领先幅度都超出了误差范围。
测试内容
两次问诊均为 PriMock57 数据集中的全科医生视频问诊。在第一次问诊中,患者来电称出现了约两个小时的压迫样胸部不适,伴恶心、出汗和呼吸困难,医生考虑可能是心脏病发作,呼叫了救护车。在第二次问诊中,一名已知患有心力衰竭的患者呼吸困难在两周内逐渐加重,医生安排了血液检查和超声心动图。
六款 AI 医疗记录员对每次问诊各录制 5 次,每份病历都对照问诊中所述的临床事实进行盲评:胸痛问诊 33 条,心力衰竭问诊 53 条。我们按病历定稿用时对记录员排名,即按下停止后的等待时间,加上临床医生审阅病历并修正错误所需的时间。录音、转录稿、病历和评分理由见胸痛和心力衰竭测试页面。
胸痛
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误 | 覆盖率 | 每份病历的幻觉标记 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 分 09 秒 | 2.2 | 98% | 0.8 | 17.2% |
| 2 | CliniScripts | 2 分 58 秒+49 秒 | 5.8+3.6 | 86%−11% | 0.2 | 16.9% |
| 3 | Heidi | 3 分 25 秒+1 分 16 秒 | 9.4+7.2 | 77%−21% | 0.6 | 17.2% |
| 4 | Lyrebird | 3 分 32 秒+1 分 23 秒 | 8.8+6.6 | 84%−13% | 2.8+2.0 | 22.8%+5.6% |
问诊结束后,Hanah 病历平均在 2 分 9 秒后即可定稿。它捕获了 98% 的事实,每份病历有 2.2 处病历错误。审阅并修改它所用的时间比自己撰写病历少 78%。Hanah 最慢的一轮也比其他所有记录员的平均用时更快。
CliniScripts 以 2 分 58 秒排名第二,覆盖率 86%,病历错误 5.8 处。在这次问诊中,CliniScripts 的幻觉标记最少,为每份病历 0.2 个;词错误率也最低,为 16.9%,Hanah 和 Heidi 并列 17.2%。Heidi 以 3 分 25 秒排名第三,Lyrebird 以 3 分 32 秒排名第四。
心力衰竭
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误 | 覆盖率 | 每份病历的幻觉标记 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 4 分 12 秒 | 9.8 | 88% | 1.2 | 16.3% |
| 2 | Heidi | 6 分 20 秒+2 分 08 秒 | 18.6+8.8 | 75%−12% | 2.0+0.8 | 15.3% |
| 3 | Freed | 6 分 59 秒+2 分 47 秒 | 15.4+5.6 | 81%−7% | 3.6+2.4 | 25.3%+9.0% |
| 4 | Lyrebird | 7 分 05 秒+2 分 53 秒 | 22.2+12.4 | 76%−12% | 5.2+4.0 | 25.7%+9.3% |
| 5 | CliniScripts | 7 分 11 秒+2 分 59 秒 | 19.6+9.8 | 73%−15% | 2.8+1.6 | 15.4% |
这次问诊包含的事实是整个基准测试中最多的。问诊结束后,Hanah 病历平均在 4 分 12 秒后即可定稿,审阅用时 3 分 46 秒。它捕获了 88% 的事实,每份病历有 9.8 处病历错误和 1.2 个幻觉标记,两项均为最少。
Heidi 以 6 分 20 秒排名第二,Freed 以 6 分 59 秒排名第三,Lyrebird 以 7 分 5 秒排名第四。Freed 的病历错误数第二少,为 15.4 处。Heidi 的词错误率最低,为 15.3%,CliniScripts 为 15.4%,Hanah 为 16.3%。在改变临床含义的误听词方面,Hanah 和 CliniScripts 持平,均为每轮 1.2 处。
发现
- 在胸痛问诊中,患者表示除阿司匹林外没有其他过敏。Hanah 在每一轮中都记录了这一点,其他所有记录员在每一轮中都遗漏了。
- 患者说阿司匹林会让他们肿起来。Heidi 和 Lyrebird 在全部 5 轮中都把“swell up”(肿起来)转录成了“swallow”(吞咽)。Hanah 和 CliniScripts 每次都听对了。
- 在心力衰竭问诊中,患者每天服用一片呋塞米,但不知道剂量。Hanah 在每一轮中都记录了这一点,其他记录员在任何一轮中都没有完整记录。
- 在全部 5 轮心力衰竭测试中,Heidi 都把呋塞米(furosemide)转录成了“fruit”(水果)。Lyrebird 在 5 轮中有 4 轮把比索洛尔(bisoprolol)听成了“omeprazole”(奥美拉唑)。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现,并附有视频讲解。
查看结果