结果 · 发布于
印地语问诊最佳 AI 医疗记录员
在一次全程使用印地语的问诊中，Hanah 是我们测试过的表现最好的 AI 医疗记录员。 CliniScripts 排名第二，Heidi 排名第三。CliniScripts 与 Hanah 在病历准确性上处于误差范围之内，而 Hanah 在用时和转录上领先。
测试内容
这次问诊是一次简短的印地语门诊：患者两周来感到疲倦，头痛在傍晚加重，偶有头晕，并因工作压力睡眠不佳；医生开具了血液检查，并就饮食、饮水和睡眠给出了建议。六款 AI 医疗记录员各录制 5 次，凡是需要选择语言的产品都设置为印地语，每份病历都对照问诊中所述的 17 条临床事实进行盲评。病历可以用英语或印地语撰写。我们按病历定稿用时对记录员排名，即按下停止后的等待时间，加上临床医生审阅病历并修正错误所需的时间。录音、转录稿、病历和评分理由见测试页面。
结果
| 排名 | 记录员 | 病历定稿用时 | 每份病历的病历错误 | 覆盖率 | 每份病历的幻觉标记 | 词错误率 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 1 分 07 秒 | 2.4 | 93% | 0.0 | 2.0% |
| 2 | CliniScripts | 1 分 50 秒+42 秒 | 2.2 | 94% | 0.6+0.6 | 3.6%+1.6% |
| 3 | Heidi | 1 分 56 秒+49 秒 | 3.8+1.4 | 86%−7% | 0.6+0.6 | 4.3%+2.3% |
| 4 | Lyrebird | 2 分 12 秒+1 分 05 秒 | 5.8+3.4 | 82%−11% | 1.4+1.4 | 3.5%+1.5% |
问诊结束后，Hanah 病历平均在 1 分 7 秒后即可定稿。它捕获了 93% 的事实，每份病历有 2.4 处病历错误，且在任何一轮中都没有幻觉标记。审阅并修改它所用的时间比自己撰写病历少 88%。
CliniScripts 以 1 分 50 秒排名第二。它的病历错误最少，为每份病历 2.2 处；覆盖率最高，为 94%，两项均与 Hanah 处于误差范围之内。Heidi 以 1 分 56 秒排名第三，每份病历有 3.8 处病历错误；Lyrebird 以 2 分 12 秒排名第四。
Hanah 的印地语转录最准确，词错误率（WER）为 2.0%。其次是 Lyrebird（3.5%）和 CliniScripts（3.6%）。Hanah 在按下停止后生成病历的中位用时为 10 秒。
发现
- 患者说自己有时不吃饭。有一款记录员把这句话译成了大麻“有时被跳过”（sometimes skipped），并在每份病历中都记录了大麻使用。
- Hanah 在任何一轮中都没有幻觉标记，也是唯一一款完全没有幻觉标记的记录员。
- 患者将睡眠不佳归因于工作压力。CliniScripts 在每一轮中都记录了这一点，而 Hanah 在每一轮中都只记录了一部分。
- Hanah 在这次问诊中使用了 3.3 MB 数据，是所有记录员中最少的。Heidi 使用了 23.3 MB。
我们的 Heidi 评测介绍了 Heidi 在全部 12 次问诊中的表现，并附有视频讲解。