记录员结果 / 2026年9月22日
PatientNotes
12 场问诊共 5 个已评分轮次的平均值,每款记录员使用相同的音频和指令。
5分39秒病历定稿用时 · 排名 6/6
3%无需修改即可定稿的病历 · 排名 2/6
212.8病历错误(Weiner 等标准) · 排名 6/6
2.58每份病历幻觉标记数(Weiner 等标准) · 排名 5/6
19.5%词错误率 · 排名 5/6
概述
PatientNotes 在按下停止后 28秒 生成按指令撰写的病历,在 6 款中排名第 5;每次问诊使用 30.8 MB 数据,在 6 款中排名第 4。其词错误率为 19.5%,在 6 款中排名第 5。
按 Weiner 等标准,它每份病历平均 18.03 个错误,在 6 款中排名第 6:远高于 Weiner 等(2020)在医生亲自撰写的病历中发现的 5.0 个,尽管我们的测试比他们的更严格。临床覆盖率为 61%,编辑工作量为 46%,两项均在 6 款中排名第 6;其审阅时间和病历定稿用时也都是最长的。
全部指标
| 指标 | 平均值 | 各轮范围 | 排名 |
|---|---|---|---|
| 病历定稿用时从按下停止到生成被评分病历的等待时间,加上审阅时间:即如果立即审阅,病历需要多久才能定稿。 | 5分39秒 | 5分22秒–5分59秒 | 6/6 |
| 无需修改即可定稿的病历完整记录了该问诊事实清单中每一项事实、且没有幻觉标记,因而无需任何编辑的病历所占比例。 | 3% | 0%–8% | 2/6 |
| 编辑工作量0% 表示无需编辑;100% 表示亲自撰写整份病历。各项修正按所需工作量加权:部分记录的事实计 1,遗漏的事实计 2,幻觉标记计 3,事实记录错误再加 2。 | 46% | 44%–50% | 6/6 |
| 每份病历审阅时间临床医生校对并修正一份病历的估算用时(阅读速度 190 wpm;每个遗漏或部分记录的事实,回忆用时 5 s,并以 40 wpm 输入;每个幻觉标记核实并删除用时 12 s,包括重新输入之前的错误事实)。 | 5分11秒 | 4分55秒–5分27秒 | 6/6 |
| 最差病历(任意轮次)在所有病例和轮次中,审阅和修正耗时最长的单份病历。 | 10分28秒 | — | 5/6 |
| 每份病历节省的时间亲自撰写病历所需的时间(8.1 min,即 Apathy 等 2023 的中位数)减去审阅时间。 | 2分55秒 | 2分39秒–3分11秒 | 6/6 |
| 比亲自撰写更快审阅并修正一份病历比亲自撰写(8.1 min,即 Apathy 等 2023 的中位数)快多少。负值表示更慢。 | 36% | 33%–39% | 6/6 |
| 每份病历错误数(Weiner 等标准)对照一份清单(列出问诊中所说的、与患者病情、症状或体征相关的每一项事实,Weiner 等 2020),病历遗漏或仅部分记录的相关事实,加上每一个幻觉标记(与 Weiner 等相同,错误的细节计两次)。12 个病例中每份病历的平均值。 | 18.03 | 17.17–19.17 | 6/6 |
| 病历错误(Weiner 等标准)对照一份清单(列出问诊中所说的、与患者病情、症状或体征相关的每一项事实,Weiner 等 2020),病历遗漏或仅部分记录的相关事实,加上每一个幻觉标记(与 Weiner 等相同,错误的细节计两次)。12 个病例中每轮的总数。单纯计数见“幻觉标记”。 | 212.8 | 206.0–230.0 | 6/6 |
| 进入病案记录的错误,每 100 份病历(估算)每 100 份病历的病历错误(Weiner 等标准)乘以 70%:在 Biro 等(2025)的研究中,全科医生审阅 AI 草稿时,每个预埋错误有 65–75% 的情况未被纠正。这是对一次典型审阅会放过多少错误的估算,覆盖 12 个病例。 | 1262 | 1202–1342 | 6/6 |
| 错误较医生亲自撰写的病历减少与 Weiner 等(2020)对照就诊录音核查医生病历时发现的每份病历 5.0 个错误相比。我们的测试计数比他们更严格,因此这一比较对医生有利。100% 表示没有错误;低于 0% 表示错误多于医生。覆盖 11 个病例。 | -261% | -283%–-243% | 6/6 |
| 每份病历幻觉标记数(Weiner 等标准)病历中记录了、但问诊内容并不支持的每一个临床要素,包括错误的数值、侧别、剂量和时间:即 Weiner 等(2020)所说的作为性错误。对所说内容的转述以及相应的临床术语不计入。12 个病例中每份病历的平均值。 | 2.58 | 2.00–3.00 | 5/6 |
| 每份病历编辑操作数每份病历中临床医生需要修正的遗漏项、部分记录项和幻觉标记。 | 18.05 | 17.17–19.17 | 6/6 |
| 临床覆盖率病历记录下的内容占各场问诊事实清单的比例(部分记录计为一半)。 | 61% | 58%–63% | 6/6 |
| 每轮重大转录错误数改变临床含义的听错词语,经盲评判定,覆盖 12 个病例。 | 36.0 | 33.0–39.0 | 6/6 |
| 词错误率每轮对照人工参考转录稿计算的合并词错误率。每个词同等计数,包括语气词。 | 19.5% | 19.3%–19.6% | 5/6 |
| 停止至按指令生成病历每轮中,从按下停止到按我们的指令写成病历所需时间的中位数。 | 28秒 | 26秒–30秒 | 5/6 |
| 每次问诊数据量每轮中每次问诊的平均网络数据量。 | 30.8 MB | 30.1 MB–31.2 MB | 4/6 |
| 平均内存(压力测试)在一场连续 50 分钟的压力测试问诊中每分钟采样一次的物理内存占用(macOS `footprint`,与“活动监视器”的“内存”列一致)——独立于上方的 12 病例测试集。所有记录员在同一台机器上同时录制这次就诊,因此绝对值反映的是它们之间对共享资源的争用,而非单独运行时的实际使用情况。此处请在记录员之间相互比较,而不要与设备的规格表比较。 | 1234 MB | 1040 MB–1410 MB | 3/6 |
| 平均 CPU(压力测试)在同一场连续 50 分钟压力测试问诊中每分钟的 CPU 使用量,计算方式为累计消耗的 CPU 秒数除以实际经过的时间(记录员使用多个核心时可超过 100%)。所有记录员在同一台机器上同时运行。 | 63.4% | 29.2%–163.2% | 6/6 |
定义和权重详见测试方法。 将 PatientNotes 与其他记录员正面比较 ↗
问诊
问诊
查看结果