临床技术,实测检验
AI 医疗记录员, 放在显微镜下审视。
我们用同样的录音问诊测试 AI 医疗记录员。了解它们在转录、临床病历和速度上的比较结果,再深入查看这些数字背后的病例。
每场问诊都有一份事实清单,列出问诊中所说的、与患者病情、症状或体征相关的每一项事实,这正是 Weiner 等(2020)审核医生病历时采用的标准。这些清单在任何病历评分之前,由 AI 仅根据每份参考转录稿起草,每项事实都引用了其出处的原句。
本地预览——Hanah 病历于 2026 年 10 月 11 日使用 GPT-6.1 Sol(低推理强度)重新生成:10 场问诊共 50 份病历,每场使用五个已存储的转录稿版本。另有两场问诊尚待生成新的 Hanah 病历。WER 和转录相关证据保留原始采集日期;其他记录员保留现有结果。新病历由 Sonnet 5.5(中等推理强度)进行盲评,随后进行非盲的智能体审核;结果为暂定,未经独立临床医生验证。Hanah 的用时为估算值:按指令生成病历的等待时间采用实测的 API 生成时长加 2 秒就绪余量;病历定稿用时在此基础上加上估算的审阅和修正时间。两者均不含转录定稿和应用开销,有待实际重新运行。
基准测试 · 2026年9月22日
AI 医疗记录员与医生亲自撰写病历的对比
6 款记录员,12 场问诊, Hanah 病历预览基于 10 个病例;其他结果保留原始日期。 医生一栏的数据来自已发表的研究,并非我们的评分。
左右滑动或滚动表格,查看所有记录员 →
| 指标 | 医生亲自撰写的病历(已发表研究)* | Hanah | Heidi | CliniScripts | Lyrebird | Freed | PatientNotes |
|---|---|---|---|---|---|---|---|
| 审阅之前,有关病情、症状或体征的遗漏、部分记录或虚构的事实(Weiner 等)。越低越好。 | |||||||
| 以医生亲自撰写所需时间(100%)的比例表示。越低越好。 | |||||||
| 修正病历所需的工作量,以亲自撰写病历工作量的比例表示。越低越好。 | |||||||
| 没有遗漏、部分记录或虚构事实的病历。越高越好。 |
- * 医生亲自撰写的病历(已发表研究): 已发表的数据,并非我们的评分。错误:Weiner 等 2020,将 105 份医生病历与就诊的秘密录音进行比较:按其标准每份病历 5.0 个错误(任何有关病情、症状或体征的错误;我们的计数方式相同),1.72 项记录了但并未发生的内容(即幻觉标记一行),错误总计 6.1 个,仅 10% 的病历没有错误;每轮数据为每份病历数值 × 12。用时:Apathy 等 2023,203,728 名门诊医生每次就诊主动撰写病历时间的中位数为 8.1 分钟。编辑工作量按定义为 100%:由医生撰写整份病历。这并非同等条件下的比较,且对医生有利:我们的清单计入每一项相关事实以及部分记录,比 Weiner 等更严格;按我们的方法评分,六份医生病历每份有 26 个错误。同等条件的基线需要由临床医生为我们自己的问诊撰写病历,并与记录员一起接受盲评;我们尚未进行这项工作。
全部指标 · 2026年9月22日
6 款 AI 医疗记录员,12 场问诊
病历经盲评,新的 Hanah 结果另附暂定的智能体审核。每个数字均为各轮平均值;点击任一单元格可查看每一轮的结果。
本地预览——Hanah 病历于 2026 年 10 月 11 日使用 GPT-6.1 Sol(低推理强度)重新生成:10 场问诊共 50 份病历,每场使用五个已存储的转录稿版本。另有两场问诊尚待生成新的 Hanah 病历。WER 和转录相关证据保留原始采集日期;其他记录员保留现有结果。新病历由 Sonnet 5.5(中等推理强度)进行盲评,随后进行非盲的智能体审核;结果为暂定,未经独立临床医生验证。Hanah 的用时为估算值:按指令生成病历的等待时间采用实测的 API 生成时长加 2 秒就绪余量;病历定稿用时在此基础上加上估算的审阅和修正时间。两者均不含转录定稿和应用开销,有待实际重新运行。
左右滑动或滚动表格,查看所有记录员 →
| 指标 | 医生亲自撰写的病历(已发表研究)* | Hanah1 | Heidi | CliniScripts2 | Lyrebird3 | Freed4 | PatientNotes |
|---|---|---|---|---|---|---|---|
| 从按下停止到生成被评分病历的等待时间,加上审阅时间:即如果立即审阅,病历需要多久才能定稿。 | 8分6秒 |
||||||
| 完整记录了该问诊事实清单中每一项事实、且没有幻觉标记,因而无需任何编辑的病历所占比例。 | 10% |
||||||
| 0% 表示无需编辑;100% 表示亲自撰写整份病历。各项修正按所需工作量加权:部分记录的事实计 1,遗漏的事实计 2,幻觉标记计 3,事实记录错误再加 2。 | 100% |
||||||
| 临床医生校对并修正一份病历的估算用时(阅读速度 190 wpm;每个遗漏或部分记录的事实,回忆用时 5 s,并以 40 wpm 输入;每个幻觉标记核实并删除用时 12 s,包括重新输入之前的错误事实)。 | — |
||||||
| 在所有病例和轮次中,审阅和修正耗时最长的单份病历。 | — |
||||||
| 亲自撰写病历所需的时间(8.1 min,即 Apathy 等 2023 的中位数)减去审阅时间。 | — |
||||||
| 审阅并修正一份病历比亲自撰写(8.1 min,即 Apathy 等 2023 的中位数)快多少。负值表示更慢。 | — |
||||||
| 对照一份清单(列出问诊中所说的、与患者病情、症状或体征相关的每一项事实,Weiner 等 2020),病历遗漏或仅部分记录的相关事实,加上每一个幻觉标记(与 Weiner 等相同,错误的细节计两次)。12 个病例中每轮的总数。单纯计数见“幻觉标记”。 | 60.0 |
||||||
| 每 100 份病历的病历错误(Weiner 等标准)乘以 70%:在 Biro 等(2025)的研究中,全科医生审阅 AI 草稿时,每个预埋错误有 65–75% 的情况未被纠正。这是对一次典型审阅会放过多少错误的估算,覆盖 12 个病例。 | 500 |
||||||
| 与 Weiner 等(2020)对照就诊录音核查医生病历时发现的每份病历 5.0 个错误相比。我们的测试计数比他们更严格,因此这一比较对医生有利。100% 表示没有错误;低于 0% 表示错误多于医生。覆盖 11 个病例。 | 0% |
||||||
| 病历中记录了、但问诊内容并不支持的每一个临床要素,包括错误的数值、侧别、剂量和时间:即 Weiner 等(2020)所说的作为性错误。对所说内容的转述以及相应的临床术语不计入。12 个病例中每份病历的平均值。 | 1.72 |
||||||
| 每份病历中临床医生需要修正的遗漏项、部分记录项和幻觉标记。 | 6.06 |
||||||
| 病历记录下的内容占各场问诊事实清单的比例(部分记录计为一半)。 | — |
||||||
| 改变临床含义的听错词语,经盲评判定,覆盖 12 个病例。 | — |
||||||
| 每轮对照人工参考转录稿计算的合并词错误率。每个词同等计数,包括语气词。 | — |
||||||
| 每轮中,从按下停止到按我们的指令写成病历所需时间的中位数。 | — |
||||||
| 每轮中每次问诊的平均网络数据量。 | — |
||||||
| 在一场连续 50 分钟的压力测试问诊中每分钟采样一次的物理内存占用(macOS `footprint`,与“活动监视器”的“内存”列一致)——独立于上方的 12 病例测试集。所有记录员在同一台机器上同时录制这次就诊,因此绝对值反映的是它们之间对共享资源的争用,而非单独运行时的实际使用情况。此处请在记录员之间相互比较,而不要与设备的规格表比较。 | — |
||||||
| 在同一场连续 50 分钟压力测试问诊中每分钟的 CPU 使用量,计算方式为累计消耗的 CPU 秒数除以实际经过的时间(记录员使用多个核心时可超过 100%)。所有记录员在同一台机器上同时运行。 | — |
- * 医生亲自撰写的病历(已发表研究): 已发表的数据,并非我们的评分。错误:Weiner 等 2020,将 105 份医生病历与就诊的秘密录音进行比较:按其标准每份病历 5.0 个错误(任何有关病情、症状或体征的错误;我们的计数方式相同),1.72 项记录了但并未发生的内容(即幻觉标记一行),错误总计 6.1 个,仅 10% 的病历没有错误;每轮数据为每份病历数值 × 12。用时:Apathy 等 2023,203,728 名门诊医生每次就诊主动撰写病历时间的中位数为 8.1 分钟。编辑工作量按定义为 100%:由医生撰写整份病历。这并非同等条件下的比较,且对医生有利:我们的清单计入每一项相关事实以及部分记录,比 Weiner 等更严格;按我们的方法评分,六份医生病历每份有 26 个错误。同等条件的基线需要由临床医生为我们自己的问诊撰写病历,并与记录员一起接受盲评;我们尚未进行这项工作。
- 本地预览——Hanah 病历于 2026 年 10 月 11 日使用 GPT-6.1 Sol(低推理强度)重新生成:10 场问诊共 50 份病历,每场使用五个已存储的转录稿版本。另有两场问诊尚待生成新的 Hanah 病历。WER 和转录相关证据保留原始采集日期;其他记录员保留现有结果。新病历由 Sonnet 5.5(中等推理强度)进行盲评,随后进行非盲的智能体审核;结果为暂定,未经独立临床医生验证。Hanah 的用时为估算值:按指令生成病历的等待时间采用实测的 API 生成时长加 2 秒就绪余量;病历定稿用时在此基础上加上估算的审阅和修正时间。两者均不含转录定稿和应用开销,有待实际重新运行。
- 本地预览——Hanah 病历于 2026 年 10 月 11 日使用 GPT-6.1 Sol(低推理强度)重新生成:10 场问诊共 50 份病历,每场使用五个已存储的转录稿版本。另有两场问诊尚待生成新的 Hanah 病历。WER 和转录相关证据保留原始采集日期;其他记录员保留现有结果。新病历由 Sonnet 5.5(中等推理强度)进行盲评,随后进行非盲的智能体审核;结果为暂定,未经独立临床医生验证。Hanah 的停止至病历用时和定稿用时暂缺,有待实际重新运行。
- 有一份病历计为产品故障:PatientNotes 第 2 轮的 day5。
- 平均内存和平均 CPU 来自一项单独的压力测试——一场连续 50 分钟的肌肉治疗问诊,所有记录员在同一台机器上同时录制——而非来自上方的 12 病例测试集;绝对值反映了这种对共享资源的争用。
- 多轮重复运行中的平台稳定性(仅供参考,不参与排名):采集心力衰竭和 TIA 问诊时,Lyrebird 尝试了 17 次才获得 10 个可用轮次。其中七次失败出在 Lyrebird 一方:一次病历生成错误,提示“网络不佳”,而其他五款记录员在同一网络连接下均生成了病历;一次服务器连接被关闭;四次加载在 30 秒内无法使用;还有一份病历在 Subjective 部分中途停止,却显示为已完成。这些采集均已重新进行。在这些问诊中,其他记录员均未出现应用端故障。
- 1 Hanah: 本地预览——Hanah 病历于 2026 年 10 月 11 日使用 GPT-6.1 Sol(低推理强度)重新生成:10 场问诊共 50 份病历,每场使用五个已存储的转录稿版本。另有两场问诊尚待生成新的 Hanah 病历。WER 和转录相关证据保留原始采集日期;其他记录员保留现有结果。新病历由 Sonnet 5.5(中等推理强度)进行盲评,随后进行非盲的智能体审核;结果为暂定,未经独立临床医生验证。Hanah 的用时为估算值:按指令生成病历的等待时间采用实测的 API 生成时长加 2 秒就绪余量;病历定稿用时在此基础上加上估算的审阅和修正时间。两者均不含转录定稿和应用开销,有待实际重新运行。。
- 2 CliniScripts: 病历按默认模板评分。
- 3 Lyrebird: 11 个病例(不含法语)。
- 4 Freed: 病历按默认模板评分。
下载全部数据:一个 JSON 文件,包含每一轮的评分、转录稿、病历和评审团理由;或每一轮评分的 CSV 文件。
正面对决
任选两款记录员
每根绳索都会被拉向在该指标上表现更好的记录员。彩带离中线越远,差距越大。阴影带表示在两款记录员各自最佳与最差轮次之间,结果可能落在的位置:阴影带越宽,说明结果越不稳定。小号数字为各轮范围。
再深入一层
按临床病例查看结果
每场问诊都在所有已评分轮次中,用同一段音频比较各款记录员。打开任一问诊,即可阅读每一轮的转录稿和病历,所有错误均已标出。
英语问诊
六项英语问诊测试。
特定语言问诊
单独比较,排除不支持的功能配置,并结合翻译情况解读结果。
医生口述
以根据出版方答案构建的逐字参考转录稿为评分依据。口述中的语音指令不计分。
长时会话压力测试
一段 50 分钟、带背景干扰的合成测试素材。计入总体结果。
查看结果