方法论 · 发布于
AI 医疗记录员的行业标准测试
ScribeStandard 对每一款 AI 医疗记录员进行透明而严格的测试，旨在展示记录员在真实环境中的表现，而不只是其营销宣传中的准确率说法。
问诊样本
基准测试使用 12 次录制的问诊。其中 8 次是来自 PriMock57 的模拟全科问诊。PriMock57 是一个公开的基层医疗问诊数据集，涵盖心脏病学、皮肤病学、胃肠病学、神经内科、泌尿外科、心理健康和过敏。其余几次分别是一次全程使用印地语的问诊、一次法语问诊、一段简短的疼痛管理病史采集，以及一次 50 分钟的肌肉疗法（myotherapy）疗程录音，录音背景中有电视声和从另一个房间传来的人声。问诊时长从 31 秒到 50 分钟不等。
每段录音都可以在其测试页面上播放和下载。每次问诊都有参考转录稿；如果数据集自带的转录稿与实际所说内容不符，我们会加以更正。六款记录员都以同一份更正后的文本为基准进行评分。
测试临床医生实际使用的产品
我们通过每款记录员自己的网页应用进行测试。脚本驱动一个可见的 Chromium 浏览器，登录普通账户，按下录制，将问诊音频播放到麦克风输入，再按下停止。每款记录员接收的音频完全相同。凡是接受病历指令的记录员，都收到同一条指令：使用 SOAP 标题、要点列表和简洁的临床速记。Freed 和 CliniScripts 不以这种方式接受指令，因此按其默认病历进行评分。
每款记录员对其支持的每次问诊都至少录制了 5 次。即使音频完全相同，结果也会因轮次而异，仅凭一轮结果可能让产品显得比实际更好或更差。网站上的数据均为各轮的平均值，点击每个单元格可打开一张图表，每一轮对应一个点。
病历评分
每次问诊都有一份事实清单，列出所述的与患者病情、症状或体征相关的每一条事实，12 次问诊共计 358 条事实。这正是 Weiner 等（2020） 在将 105 名医生的病历与就诊录音进行核对时所采用的标准。清单为每条事实引用了其所依据的转录稿原句。只有当临床医生说出了某项诊断时，该诊断才会列入清单，因为记录员不应自行诊断。
同一次问诊的病历被打乱混合，去除产品名称，由一个 AI 评审团进行评分。对于每条事实，评审团判定病历是完整记录、部分记录还是遗漏。另有一轮单独审查会标记出病历中记载、但问诊内容并不支持的任何内容，例如没有人提到过的症状，或错误的剂量、侧别或时间。这些就是幻觉标记。遗漏或部分记录的事实计为一处病历错误，幻觉标记同样计为一处病历错误。错误的细节计两次，这与 Weiner 等的计数方式一致。
临床医生用时
我们按以下方式估算每份病历的审阅时间：以每分钟 190 个词的速度阅读病历，回忆并录入每一条遗漏的事实，核查并删除每一个幻觉标记。病历定稿用时则在此基础上加上按下停止后的等待时间。两者都与自己撰写病历的用时进行比较：根据 Apathy 等（2023） 对 203,728 名美国医生的研究，每次就诊撰写病历的中位用时为 8.1 分钟。
在每项测试中，我们按病历定稿用时对记录员排名，因为这是临床医生从问诊结束到完成病历之间所花费的时间。
转录、速度和数据量
词错误率（WER）以每款记录员最终保留的转录稿为对象，对照参考转录稿进行测量。它对每个词一视同仁，一个错误的药名或一处被颠倒的否定，与丢掉一个“the”的权重相同。我们还统计重大转录错误，即盲评评分者判定可能影响诊断、治疗、随访或安全的差异。
我们测量每款记录员在按下停止后生成病历所需的时间，并测量一次录制会话传输的全部数据，从打开应用一直到关闭浏览器。另有一项 50 分钟的压力测试，让所有记录员在同一台机器上同时录制，以测量内存和 CPU 占用。
以医生作为参照
测试结果与已发表的医生自行撰写病历的数据并列呈现：Weiner 等（2020）报告每份病历 5.0 处错误、10% 的病历无错误；Apathy 等（2023）报告撰写用时 8.1 分钟。我们的评分比 Weiner 等的更严格，这对医生更有利。我们将六名 PriMock57 医生为同样问诊自行撰写的病历混入记录员的病历中进行盲评，对照同样的事实清单，这些病历平均每份有 26 处错误。
当前结果
在全部 12 次问诊中，每份病历的病历错误从 4.1 处到 18.0 处不等，审阅时间从 2 分 2 秒到 5 分 11 秒不等。在我们公布的 19 项指标中，Hanah 有 18 项排名第一。结果表列出了每款记录员在每项指标上的结果，每个专科和每种语言也各有一篇专门的文章。
局限性
评分由 AI 评审者完成，尚未经过独立临床医生的验证。无论临床后果如何，每个幻觉标记都只计一次。审阅时间是根据固定的阅读和录入速度得出的估算值，医生数据则来自针对不同问诊的不同研究。真正对等的比较应由独立临床医生为这 12 次问诊撰写病历，并与记录员的病历一起进行盲评，而我们尚未开展这项工作。
我们不测试用户体验，因为在我们测试过的每一款记录员中，按下录制并获得病历的操作方式大同小异。
数据
每一轮的转录稿、病历、事实判定、幻觉标记和评审团推理都收录在一个 JSON 文件中，单独的评分则收录在一个 CSV 文件中。完整方法见方法论页面。任何拥有这些记录员账户的人，都可以用同样的录音在这些产品上重放测试，核验我们的数据。