结果 · 发布于
过敏与免疫科最佳 AI 医疗记录员
在我们测试的过敏反应问诊中，Hanah 是表现最佳的 AI 医疗记录员，且领先幅度超出误差范围。Heidi 位居第二，CliniScripts 位居第三。
测试内容
该问诊是 PriMock57 数据集中的一次全科医生视频问诊：一名年轻患者在吃了一碗鲜虾叻沙后上唇开始肿胀，医生按疑似过敏性休克处理，并安排救护车送往医院。六款 AI 医疗记录员各录制了五次，每份病历均对照问诊中提到的 30 项临床事实进行盲评。我们按病历定稿用时对记录员排名，即按下停止键后的等待时间，加上临床医生审阅病历并修正错误所需的时间。录音、转录稿、病历及评分理由均可在测试页面查看。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误数 | 覆盖率 | 每份病历的幻觉标记数 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 分 54 秒 | 6.8 | 85% | 1.0 | 15.1% |
| 2 | Heidi | 4 分 44 秒+1 分 50 秒 | 14.2+7.4 | 73%−12% | 3.4+2.4 | 14.2% |
| 3 | CliniScripts | 4 分 52 秒+1 分 58 秒 | 12.6+5.8 | 73%−12% | 2.2+1.2 | 18.3%+3.3% |
| 4 | Freed | 5 分 21 秒+2 分 27 秒 | 10.6+3.8 | 85% | 4.4+3.4 | 17.2%+2.1% |
问诊结束后，Hanah 的病历平均 2 分 54 秒即可定稿。病历覆盖了 85% 的事实，每份病历有 6.8 处病历错误和 1.0 个幻觉标记，两项均为最少。审阅和修改所需时间比亲自撰写病历少 66%。
Heidi 以 4 分 44 秒位居第二，CliniScripts 以 4 分 52 秒位居第三，两者相差不大。Freed 以 5 分 21 秒位居第四。Freed 的覆盖率与 Hanah 持平，均为 85%，其病历错误数位列第二少，为 10.6 处。
在本次问诊中，Heidi 的词错误率（WER）最低，为 14.2%，Hanah 为 15.1%。CliniScripts 改变临床含义的听错词最少，每轮 2.4 个。
发现
- 患者在这家餐厅通常吃素食汤，鲜虾叻沙是第一次点。六款记录员生成的 30 份病历中，只有一份完整记录了这一点。
- 患者表示通话期间感到有点头晕。大多数记录员至少在部分轮次中把“dizzy”（头晕）听成了“busy”（忙），许多病历遗漏了这一症状。
- Freed 在五轮中有四轮记录患者独居。问诊中并没有任何内容提到这一点。
- 患者没有使用其他吸入剂。Hanah 在每一轮中都记录了这一点，其他所有记录员至少在三轮中遗漏了。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现，并附有视频讲解。