结果 · 发布于
Hanah 是我们基准测试中最佳的 AI 医疗记录员
我们用六款 AI 医疗记录员录制了相同的 12 次问诊，并对照同一份临床事实清单对每份病历进行盲评。在我们公布的 19 项指标中，Hanah 有 18 项排名第一，其中包括所有病历质量指标和所有临床医生用时指标。每次问诊的录音、转录稿、病历及评分理由均可在对应的测试页面查看和下载。
病历错误
病历错误是指病历遗漏或仅部分记录的相关事实，或问诊内容不支持的陈述。我们的计数方法与 Weiner 等（2020）统计医生病历错误的方法相同。在全部 12 次问诊、每次至少五轮的平均结果中，Hanah 每份病历有 4.1 处错误。Freed 平均为 8.3 处，Heidi 为 9.0 处，CliniScripts 为 9.7 处，Lyrebird 为 11.6 处，PatientNotes 为 18.0 处。
Hanah 覆盖了 93% 的相关事实，Freed 为 87%，Lyrebird 为 82%，Heidi 为 81%，CliniScripts 为 80%，PatientNotes 为 61%。Hanah 的幻觉标记也最少，每份病历 0.80 个，Heidi 紧随其后，为 1.00 个。
Weiner 等将医生本人撰写的病历与就诊录音进行核对，发现每份病历有 5.0 处错误。我们测试的计数标准比他们更严格，而 Hanah 是唯一低于这一数值的记录员。
审阅与定稿用时
我们估算临床医生阅读每份病历并修正其中错误所需的时间。一份 Hanah 病历的审阅用时为 2 分 2 秒，Heidi 为 2 分 58 秒，Lyrebird 为 3 分 43 秒，CliniScripts 为 3 分 50 秒，Freed 为 4 分 5 秒，PatientNotes 为 5 分 11 秒。亲自撰写病历的用时中位数为 8.1 分钟（Apathy 等 2023），因此审阅和修改一份 Hanah 病历比手工撰写快 75%。Heidi 快 63%，Lyrebird 快 54%，CliniScripts 快 53%，Freed 快 50%，PatientNotes 快 36%。
计入按下停止键后的等待时间，问诊结束 2 分 23 秒后 Hanah 的病历即可定稿。Heidi 用时 3 分 25 秒，CliniScripts 为 4 分 3 秒，Lyrebird 为 4 分 6 秒，Freed 为 4 分 40 秒，PatientNotes 为 5 分 39 秒。
在所有轮次中，Hanah 审阅用时最长的一份病历为 4 分 15 秒。其他每款记录员都至少有一份病历的审阅用时超过七分半钟，CliniScripts 最慢的一份病历用时 10 分 47 秒。
转录、速度与数据量
Hanah 的词错误率（WER）最低，为 12.8%，CliniScripts 为 13.0%，Heidi 为 13.6%。在改变临床含义的听错词方面，Hanah 在 12 次问诊中平均每轮 8.6 个，CliniScripts 为 9.0 个，其他记录员在 21 至 36 个之间。
Hanah 在按下停止键后生成病历的用时中位数为 19 秒，每次问诊使用 9.1 MB 数据。其他记录员用时 21 至 49 秒，使用 17 至 45 MB 数据。
内存占用与无需修改的病历
在一项 50 分钟的压力测试中，所有记录员同时在一台机器上录音，CliniScripts 平均占用 972 MB 内存，Hanah 为 1,103 MB。这是 Hanah 唯一没有领先的指标。Hanah 的 CPU 占用率为 28.6%，与 CliniScripts 的 28.8% 持平。
Hanah 无需修改即可定稿的病历占比最高，为 8%，即全部事实均完整记录且没有幻觉标记。这一比例低于 Weiner 等发现的 10% 无错误医生病历，而且每款记录员生成的每份病历在定稿前仍需临床医生审阅。