评测 · 发布于
Heidi 评测：在 12 次问诊中测试这款 AI 医疗记录员
Heidi 速度快，很少编造细节，但其病历遗漏了约五分之一的临床事实，而且没有一份病历无需修改即可定稿。 我们将它与另外五款 AI 医疗记录员放在同样的 12 次录制问诊上进行测试，每次问诊重复 5 轮。
主要发现
- 从按下停止到病历定稿（含审阅），Heidi 平均用时 3 分 25 秒，在六款产品中排名第二，比医生亲自撰写一份病历的中位用时 8.1 分钟快约 5 分钟。
- 审阅并修改一份 Heidi 病历用时 2 分 58 秒。编辑工作量为从头撰写病历的 22%，在六款产品中排名第二。
- Heidi 平均每份病历有 1.0 个幻觉标记，在六款产品中排名第二，仅次于 Hanah 的 0.8 个。已发表的研究发现，医生亲自撰写的病历平均每份有 1.7 个。
- Heidi 的病历捕获了问诊中所述临床事实的 81%，在六款产品中排名第四。
- 将遗漏的事实与幻觉合并计算，Heidi 平均每份病历有 9.0 处病历错误，在六款产品中排名第三，落后于 Hanah 的 4.1 处和 Freed 的 8.3 处。已发表的研究发现，医生亲自撰写的病历平均每份有 5.0 处错误。
- Heidi 的 60 份病历中，没有一份无需修改即可定稿。
- Heidi 的词错误率（WER）为 13.6%，在六款产品中排名第三。它每完整一轮测试会产生 21.2 处具有临床意义的转录错误，是 Hanah（8.6 处）和 CliniScripts（9.0 处）的两倍多。
- 在每一次问诊中，Heidi 的数据用量都是所有记录员中最多的，平均 44.6 MB；在我们的压力测试中，它的内存占用也最高，为 1.9 GB。
Heidi 准确吗？
按词错误率衡量，Heidi 的转录表现良好，为 13.6%，紧随 CliniScripts（13.0%）和 Hanah（12.8%）之后。但其转录稿中具有临床意义的错误比这一数字所暗示的更多，每完整一轮 12 次问诊达 21.2 处。
其中一些错误进入了病历。在心力衰竭问诊中，医生询问美托洛尔（metoprolol），患者纠正说是比索洛尔（bisoprolol）。Heidi 在 5 份病历中有 4 份记录的是美托洛尔，即用错了 β 受体阻滞剂。在过敏反应问诊中，5 份转录稿全部把“dizzy”（头晕）转录成了“busy”（忙），Heidi 的病历也无一记录头晕症状。
Heidi 的病历捕获了 81% 的临床事实，平均每份病历有 9.0 处错误。如果像 Biro 等（2025）所报告的那样，这些错误中有 70% 在审阅时未被纠正，那么每 100 份 Heidi 病历将有约 630 处错误进入病历档案，而医生亲自撰写的病历为 500 处。
Heidi 会产生幻觉吗？
与我们测试的大多数记录员相比，Heidi 编造的细节更少。它平均每份病历有 1.0 个幻觉标记，即病历中出现了问诊中并未提及的细节。Hanah 为 0.8 个，CliniScripts 为 1.4 个，Freed 为 2.5 个，PatientNotes 为 2.6 个，Lyrebird 为 3.4 个。在 12 次问诊中的 5 次里，Heidi 的幻觉标记最少或并列最少。
Heidi 有多快？
速度是 Heidi 最大的优势。问诊结束后，Heidi 病历平均在 3 分 25 秒后定稿，其中包括临床医生审阅和修改所需的时间。只有 Hanah 更快，为 2 分 23 秒。CliniScripts 用时 4 分 3 秒，Lyrebird 4 分 6 秒，Freed 4 分 40 秒，PatientNotes 5 分 39 秒。
Heidi 与 Freed 相比如何？
Heidi 更快，编造的内容更少；Freed 则更完整。
- 病历定稿用时：Heidi 3 分 25 秒，Freed 4 分 40 秒。
- 临床覆盖率：Freed 87%，Heidi 81%。
- 每份病历的病历错误：Freed 8.3 处，Heidi 9.0 处。
- 每份病历的幻觉标记：Heidi 1.0 个，Freed 2.5 个。
- 词错误率：Heidi 13.6%，Freed 23.1%。
- 每次问诊的数据量：Freed 17.1 MB，Heidi 44.6 MB。
Heidi 与 Hanah 相比如何？
在我们追踪的每一项指标上，Hanah 都领先于 Heidi。差距最小的是词错误率（12.8% 对 13.6%）和幻觉标记（0.8 对 1.0），差距最大的是覆盖率，93% 对 81%。Hanah 平均每份病历有 4.1 处错误，Heidi 为 9.0 处；Hanah 的病历定稿早约一分钟，数据用量约为 Heidi 的五分之一。
Heidi 与 Lyrebird 和 CliniScripts 相比如何？
Heidi 的病历定稿速度比两者都快。Lyrebird 捕获的事实略多（82% 对 81%），但平均每份病历有 11.6 处错误和 3.4 个幻觉标记，而 Heidi 为 9.0 处和 1.0 个。CliniScripts 的词错误率略低，重大转录错误也少得多（每轮 9.0 处对 21.2 处），但平均每份病历有 9.7 处错误。
Heidi 在哪些问诊中表现最好和最差？
Heidi 表现最好的问诊是心理健康领域的情绪低落。在这次问诊中，它的幻觉标记在所有记录员中最少，词错误率最低，病历错误数第二少。在疑似短暂性脑缺血发作（TIA）问诊中，它的幻觉标记也是最少的。
它最薄弱的领域是心脏病学。在胸痛问诊中，Heidi 的病历错误数和覆盖率均排在六款产品中的第五。错误的 β 受体阻滞剂出现在心力衰竭问诊中，而 Heidi 在这次问诊中的词错误率恰恰是所有记录员中最低的。各专科的结果见我们关于心脏病学、心理健康和神经内科的文章。
Heidi 使用多少数据和内存？
Heidi 每次问诊约使用 45 MB 数据，在每一次问诊中都是所有记录员中最多的；一次 50 分钟的就诊约使用 145 MB。在我们的压力测试中，它的平均内存占用最高，约 1.9 GB，略高于 Lyrebird。在网络连接较差或电脑较旧时，这一点会有影响。带宽文章介绍了我们的测量方法。
测试方法
每款记录员都听取了同样的 12 次问诊，每次 5 轮。一名盲评 AI 评分者对照问诊中所述全部临床事实的清单，对每份病历进行评分。医生亲自撰写病历的数据来自已发表的研究：每份病历的错误数来自 Weiner 等（2020），撰写用时来自 Apathy 等（2023）。我们的测试比他们的更严格，这使对比结果更有利于医生。Heidi 在每次问诊中的结果见其结果页面，完整方法见我们的测试方法。
视频文字稿
Heidi——一次真实评测 的完整解说词。点击各时间戳，即可从该章节开始播放视频。
0:00 引言
大多数 AI 医疗记录员评测只停留在屏幕层面：界面、模板，以及病历看起来有多精致。很少有评测会深入考察病历的质量和转录稿的准确性。Heidi 是最知名的 AI 医疗记录员之一，我们决定对它做一次技术评测——它听到了什么、写了什么、遗漏了什么，以及临床医生需要多长时间来修正。随后，我们把它与其他五款常用的记录员进行了比较。
0:24 测试方法
每款记录员都听取了同样的十二场问诊，每场各五次。由一位盲评 AI 评分者对照一份事实清单为每份病历评分，清单列出了问诊中所说的每一项临床事实。医生亲自撰写病历的数据来自已发表的研究。我们的测试比他们的更严格，因此这一比较对医生有利。
0:40 速度
Heidi 最大的优势是速度。从按下停止到病历定稿（包括审阅），它平均用时 3 分 25 秒。亲自撰写病历用时的中位数略多于 8 分钟，因此 Heidi 每份病历可节省约 5 分钟。
0:54 审阅工作量
审阅并修正一份 Heidi 病历用时不到 3 分钟。编辑工作量约为从头撰写病历的 22%。这两项均在六款中排名第二。
1:03 幻觉
Heidi 虚构的内容也很少。它每份病历平均 1 个幻觉标记，仅略逊于 Hanah 的 0.8 个，并明显优于 CliniScripts 的 1.4 个。这低于医生亲自撰写的病历报告的 1.7 个；在十二场问诊中，Heidi 有五场的幻觉标记最少或并列最少。
1:22 转录
它的词错误率为 13.6%，略逊于 CliniScripts 和 Hanah，并明显优于 Lyrebird、PatientNotes 和 Freed。但具有临床意义的转录错误却呈现出另一番景象：每个完整轮次约 21 个，是 Hanah 和 CliniScripts 的两倍多，仅比 Freed 略少。
1:40 结合实际看转录错误
这些错误一旦进入病历，影响最大。在一场心力衰竭问诊中，医生询问了美托洛尔（metoprolol）的情况，患者纠正说是比索洛尔（bisoprolol）。Heidi 在五份病历中有四份记录了美托洛尔，即用错了β受体阻滞剂。Lyrebird 和 PatientNotes 犯了同样的错误。Hanah、Freed 和 CliniScripts 则没有。
并非每个失误都会带入病历。Heidi 的转录稿每次都把 furosemide（呋塞米）听成了“fruit”，但每份病历仍然写的是呋塞米。然而在一场过敏反应问诊中，五份转录稿都把“dizzy”（头晕）听成了“busy”，Heidi 的病历没有一份记录头晕。CliniScripts 在五份中有四份捕捉到了这一点。
2:16 完整性
主要的弱点在于完整性。Heidi 的病历记录了约 81% 的临床事实，大约每五项遗漏一项。这略逊于 Lyrebird，略优于 CliniScripts，但与 Freed 和 Hanah 相比差距明显，而且 Heidi 在任何一场问诊中的临床覆盖率都没有领先。
2:31 病历错误
将遗漏的事实和幻觉合并计算，Heidi 每份病历平均约 9 个错误，略逊于 Freed，优于 CliniScripts。那项已发表的医生亲自撰写的病历研究发现的是 5 个。Heidi 各轮的结果在约 7.5 个到 10 个之间，而且没有一份病历无需修改即可定稿。
2:50 进入病案记录的错误
如果像 Biro 等在 2025 年报告的那样，有 70% 的错误在审阅时未被纠正，那么每一百份 Heidi 病历约有 630 个错误会进入病案记录，而医生亲自撰写的病历为 500 个。
3:02 最佳与最差病例
结果因专科而异。Heidi 表现最好的病例是精神卫生领域的情绪低落问诊。它的幻觉标记是所有记录员中最少的，词错误率最低（略优于 CliniScripts），病历错误数第二少。在疑似短暂性脑缺血发作（TIA）问诊中，它的幻觉标记也是最少的。
它最薄弱的领域是心脏科。在胸痛问诊中，它的病历错误和临床覆盖率均在六款中排名第五，仅领先于 PatientNotes。而在心力衰竭问诊中，它的词错误率虽是所有记录员中最低的，却正是出现用错β受体阻滞剂的地方。
3:35 资源占用
Heidi 也是我们测试过的最耗资源的记录员。它每场问诊使用约 45 MB 数据，在每一场问诊中都是所有记录员中最多的；在一场 50 分钟的就诊中约为 145 MB。在我们的压力测试中，它的平均内存占用最高，约为 1.9 GB，比 Lyrebird 略多。在网络连接较差或电脑较旧时，这一点很重要。
3:56 Heidi 的排名
那么，Heidi 在同类产品中处于什么位置？它在速度、审阅时间、编辑工作量和幻觉方面排名第二；在转录和病历错误方面排名第三，临床覆盖率排名第四，数据和内存占用排名最后。
4:08 Heidi 对比 Hanah
与基准测试中的领先者 Hanah 相比，差距很明显：Hanah 在我们追踪的每项指标上都领先。差距最小的是词错误率和幻觉标记；差距最大的是临床覆盖率，93% 对 81%，而且 Hanah 每份病历的错误数不到 Heidi 的一半。Hanah 的病历定稿还快了约一分钟，使用的数据量约为 Heidi 的五分之一。
4:28 Heidi 对比其他记录员
与其他四款相比，Heidi 的病历定稿速度比它们都快。Freed 记录的事实更多，每份病历的错误略少，但用时要多一分钟以上。CliniScripts 的词错误率略优于 Heidi，重大转录错误也少得多，但其病历中留下的错误更多。Lyrebird 和 PatientNotes 在速度和病历错误上都落后于 Heidi。
4:50 结论
Heidi 速度快，很少虚构细节，比亲自撰写病历快约五分钟。它的弱点在于完整性、可能带入病历的转录失误，以及我们测得的最高数据和内存占用。它在速度和幻觉方面位列六款中的第二，在病历错误方面位列第三，略逊于 Freed，领先于 CliniScripts、Lyrebird 和 PatientNotes。与我们测试过的每款记录员一样，它的病历在定稿前仍需仔细审阅。
5:18 更多测试
我们将陆续增加更多病例、更多记录员，并对每款产品进行更深入的分析。欢迎订阅以获取最新动态；如果您觉得这段视频有帮助，请为它点赞。
5:26 完整结果
请访问 ScribeStandard.com，逐场问诊查看 Heidi 的结果。