검증대에 오른 임상 기술
AI 스크라이브, 현미경으로 들여다보다.
저희는 같은 녹음 진료로 AI 스크라이브를 테스트합니다. 녹취, 진료 기록, 속도에서 서로 어떻게 비교되는지 살펴본 뒤, 수치 뒤에 있는 사례를 자세히 들여다보십시오.
모든 진료에는 환자의 질환, 증상 또는 징후와 관련해 말한 모든 사실의 목록이 있습니다. Weiner 등(2020)이 의사 기록을 감사할 때 사용한 기준입니다. 이 목록은 어떤 기록도 채점하기 전에 각 기준 녹취록만 보고 AI가 초안을 작성했으며, 모든 사실에는 근거가 된 발화 줄이 인용되어 있습니다.
로컬 미리보기 — Hanah 기록은 2026년 10월 11일 GPT-6.1 Sol(낮은 추론 수준)로 다시 생성했습니다. 진료 10건마다 저장된 녹취록 변형 5개씩, 총 50개 기록입니다. 진료 2건은 새 Hanah 기록을 기다리고 있습니다. WER과 녹취 관련 근거는 원래 수집 날짜를 유지하며, 다른 스크라이브는 기존 결과를 유지합니다. 새 기록은 Sonnet 5.5 medium이 블라인드로 채점한 뒤, 블라인드가 아닌 에이전트 감사를 거쳤습니다. 독립적인 임상의 검증이 없는 잠정 결과입니다. Hanah의 소요 시간은 추정치입니다. 지시 기록 대기 시간은 실측한 API 생성 시간에 준비 여유 시간 2초를 더한 값이고, 기록 확정까지 걸린 시간은 여기에 추정 검토 및 수정 시간을 더합니다. 두 값 모두 녹취 확정 처리와 앱 오버헤드를 제외하며, 실제 환경에서 다시 실행할 때까지 잠정치입니다.
벤치마크 · 2026년 9월 22일
AI 스크라이브 대 직접 기록을 작성하는 의사
스크라이브 6종, 진료 12건, Hanah 기록 미리보기는 10개 사례 기준이며, 다른 결과는 원래 날짜를 유지합니다. 의사 열의 수치는 저희 채점이 아니라 발표된 연구에서 가져왔습니다.
표를 밀거나 스크롤하면 모든 스크라이브를 볼 수 있습니다 →
| 측정 항목 | 의사가 직접 작성한 기록(발표된 연구)* | Hanah | Heidi | CliniScripts | Lyrebird | Freed | PatientNotes |
|---|---|---|---|---|---|---|---|
| 검토 전 기록에서 질환, 증상 또는 징후에 관한 사실을 놓쳤거나, 일부만 담았거나, 지어낸 경우(Weiner 등). 낮을수록 좋습니다. | |||||||
| 의사가 직접 작성하는 시간(100%) 대비 비율. 낮을수록 좋습니다. | |||||||
| 기록을 손으로 직접 작성하는 작업 대비, 기록을 고치는 데 드는 작업의 비율. 낮을수록 좋습니다. | |||||||
| 누락되거나, 일부만 담기거나, 지어낸 사실이 없는 기록. 높을수록 좋습니다. |
- * 의사가 직접 작성한 기록(발표된 연구): 저희가 채점하지 않은 발표 수치입니다. 오류: Weiner 등 2020은 의사 기록 105건을 진료의 비밀 녹음과 비교했습니다. 그들의 기준(질환, 증상 또는 징후에 관한 모든 오류. 저희도 같은 방식으로 셉니다)에서 기록당 오류는 5.0개, 실제로 일어나지 않은 일을 기록한 경우는 1.72개(환각 플래그 행), 전체 오류는 6.1개였으며, 오류가 없는 기록은 10%에 불과했습니다. 회차당 수치는 기록당 값 × 12입니다. 시간: Apathy 등 2023, 외래 진료 의사 203,728명의 방문당 실제 기록 작성 시간 중앙값 8.1분. 편집 작업량은 정의상 100%입니다. 의사가 기록 전체를 작성하기 때문입니다. 동일 조건 비교가 아니며, 그 차이는 의사에게 유리합니다. 저희 사실 목록은 관련 사실과 부분 반영을 모두 세므로 Weiner 등보다 엄격합니다. 저희 방식으로 채점하면 의사 기록 6건이 각각 오류 26개로 나왔습니다. 동일 조건의 기준선을 얻으려면 임상의가 저희 진료에 대해 기록을 작성하고 스크라이브와 함께 블라인드로 채점해야 하며, 아직 그렇게 하지 않았습니다.
전체 측정 항목 · 2026년 9월 22일
AI 스크라이브 6종, 진료 12건
기록은 블라인드로 채점했으며, 새 Hanah 결과에는 잠정적인 에이전트 감사를 추가했습니다. 각 수치는 회차 평균이며, 셀을 선택하면 모든 회차를 볼 수 있습니다.
로컬 미리보기 — Hanah 기록은 2026년 10월 11일 GPT-6.1 Sol(낮은 추론 수준)로 다시 생성했습니다. 진료 10건마다 저장된 녹취록 변형 5개씩, 총 50개 기록입니다. 진료 2건은 새 Hanah 기록을 기다리고 있습니다. WER과 녹취 관련 근거는 원래 수집 날짜를 유지하며, 다른 스크라이브는 기존 결과를 유지합니다. 새 기록은 Sonnet 5.5 medium이 블라인드로 채점한 뒤, 블라인드가 아닌 에이전트 감사를 거쳤습니다. 독립적인 임상의 검증이 없는 잠정 결과입니다. Hanah의 소요 시간은 추정치입니다. 지시 기록 대기 시간은 실측한 API 생성 시간에 준비 여유 시간 2초를 더한 값이고, 기록 확정까지 걸린 시간은 여기에 추정 검토 및 수정 시간을 더합니다. 두 값 모두 녹취 확정 처리와 앱 오버헤드를 제외하며, 실제 환경에서 다시 실행할 때까지 잠정치입니다.
표를 밀거나 스크롤하면 모든 스크라이브를 볼 수 있습니다 →
| 측정 항목 | 의사가 직접 작성한 기록(발표된 연구)* | Hanah1 | Heidi | CliniScripts2 | Lyrebird3 | Freed4 | PatientNotes |
|---|---|---|---|---|---|---|---|
| 중지 버튼을 누른 뒤 채점 대상 기록이 나오기까지의 대기 시간에 검토 시간을 더한 값입니다. 곧바로 검토할 경우 기록을 확정할 수 있기까지 걸리는 시간입니다. | 8분 6초 |
||||||
| 진료의 사실 목록에 있는 모든 사실을 온전히 담고 환각 플래그가 없어 수정할 것이 전혀 없었던 기록의 비율입니다. | 10% |
||||||
| 0%는 편집이 전혀 필요 없다는 뜻이고, 100%는 기록 전체를 손으로 직접 작성하는 것과 같다는 뜻입니다. 수정 사항에는 드는 작업량에 따라 가중치를 둡니다. 부분 반영된 사실 1, 누락된 사실 2, 환각 플래그 3이며, 사실이 잘못 기록된 경우 2를 더합니다. | 100% |
||||||
| 임상의가 기록 한 건을 교정하고 수정하는 데 걸리는 추정 시간입니다(읽기 190 wpm, 누락되거나 부분 반영된 사실마다 떠올리는 데 5초와 40 wpm 입력, 환각 플래그마다 확인 및 삭제에 12초. 잘못된 사실은 다시 입력하기 전에 이 확인 과정을 거치는 것으로 포함). | — |
||||||
| 모든 사례와 회차를 통틀어 검토와 수정에 가장 오래 걸린 기록 한 건입니다. | — |
||||||
| 기록을 직접 작성하는 시간(8.1분, Apathy 등 2023의 중앙값)에서 검토 시간을 뺀 값입니다. | — |
||||||
| 기록을 검토하고 수정하는 것이 직접 작성하는 것(8.1분, Apathy 등 2023의 중앙값)보다 얼마나 빠른지를 나타냅니다. 음수는 더 느리다는 뜻입니다. | — |
||||||
| 환자의 질환, 증상 또는 징후와 관련해 말한 모든 사실의 목록(Weiner 등 2020)을 기준으로, 기록이 놓쳤거나 일부만 담은 관련 사실에 모든 환각 플래그를 더한 값입니다(Weiner 등과 마찬가지로 잘못된 세부 사항은 두 번 셉니다). 12개 사례에 걸친 회차당 합계입니다. 단순 개수는 환각 플래그 항목에 있습니다. | 60.0 |
||||||
| 기록 100건당 기록 오류(Weiner 등 기준)에 70%를 곱한 값입니다. Biro 등(2025)에서 AI 초안을 검토한 일반의들은 의도적으로 심어 둔 각 오류를 65–75%의 경우 수정하지 않았습니다. 통상적인 검토를 거친 뒤에도 남을 오류의 추정치이며, 12개 사례에 걸친 값입니다. | 500 |
||||||
| Weiner 등(2020)이 진료 녹음과 대조해 확인한 의사 기록에서 찾은 기록당 오류 5.0개와 비교한 값입니다. 저희 테스트는 그들보다 엄격하게 세므로, 이 비교는 의사에게 유리합니다. 100%는 오류가 없다는 뜻이고, 0% 미만은 의사보다 오류가 많다는 뜻입니다. 11개 사례에 걸친 값입니다. | 0% |
||||||
| 잘못된 수치, 좌우, 용량, 시점을 포함해, 기록에 적혔지만 진료 내용으로 뒷받침되지 않는 모든 임상 요소입니다. Weiner 등(2020)의 작위 오류(errors of commission)에 해당합니다. 실제로 말한 내용을 바꿔 쓰거나 임상 용어로 옮긴 것은 세지 않습니다. 12개 사례에 걸친 기록당 평균입니다. | 1.72 |
||||||
| 임상의가 고쳐야 할 누락 항목, 부분 반영 항목, 환각 플래그의 기록당 개수입니다. | 6.06 |
||||||
| 각 진료의 사실 목록 중 기록이 담아낸 비율입니다(부분 반영은 절반으로 계산). | — |
||||||
| 임상적 의미를 바꾸는 잘못 들은 단어로, 블라인드로 평가했으며 12개 사례에 걸친 값입니다. | — |
||||||
| 사람이 작성한 기준 녹취록에 대한 회차별 통합 단어 오류율입니다. 군말을 포함해 모든 단어를 똑같이 셉니다. | — |
||||||
| 중지 버튼을 누른 뒤 저희 지시문에 따라 작성된 기록이 나오기까지 걸린 시간의 회차별 중앙값입니다. | — |
||||||
| 회차별 진료당 평균 네트워크 데이터 사용량입니다. | — |
||||||
| 물리 메모리 사용량(macOS `footprint`, 활동 모니터의 메모리 열과 동일)으로, 연속된 50분 스트레스 테스트 진료 한 건 동안 1분마다 측정했습니다. 위의 12개 사례 묶음과는 별개입니다. 모든 스크라이브가 한 기기에서 이 진료를 동시에 녹음했으므로, 절대값은 개별 실사용 환경이 아니라 스크라이브 간 자원 경합을 반영합니다. 여기서는 스크라이브끼리 비교하고, 기기 사양표와 비교하지 마십시오. | — |
||||||
| 같은 연속 50분 스트레스 테스트 진료 동안 분당 사용한 CPU로, 누적 CPU 사용 시간(초)을 실제 경과 시간으로 나눠 측정했습니다(스크라이브가 코어를 두 개 이상 쓰면 100%를 넘을 수 있습니다). 모든 스크라이브를 한 기기에서 동시에 실행했습니다. | — |
- * 의사가 직접 작성한 기록(발표된 연구): 저희가 채점하지 않은 발표 수치입니다. 오류: Weiner 등 2020은 의사 기록 105건을 진료의 비밀 녹음과 비교했습니다. 그들의 기준(질환, 증상 또는 징후에 관한 모든 오류. 저희도 같은 방식으로 셉니다)에서 기록당 오류는 5.0개, 실제로 일어나지 않은 일을 기록한 경우는 1.72개(환각 플래그 행), 전체 오류는 6.1개였으며, 오류가 없는 기록은 10%에 불과했습니다. 회차당 수치는 기록당 값 × 12입니다. 시간: Apathy 등 2023, 외래 진료 의사 203,728명의 방문당 실제 기록 작성 시간 중앙값 8.1분. 편집 작업량은 정의상 100%입니다. 의사가 기록 전체를 작성하기 때문입니다. 동일 조건 비교가 아니며, 그 차이는 의사에게 유리합니다. 저희 사실 목록은 관련 사실과 부분 반영을 모두 세므로 Weiner 등보다 엄격합니다. 저희 방식으로 채점하면 의사 기록 6건이 각각 오류 26개로 나왔습니다. 동일 조건의 기준선을 얻으려면 임상의가 저희 진료에 대해 기록을 작성하고 스크라이브와 함께 블라인드로 채점해야 하며, 아직 그렇게 하지 않았습니다.
- 로컬 미리보기 — Hanah 기록은 2026년 10월 11일 GPT-6.1 Sol(낮은 추론 수준)로 다시 생성했습니다. 진료 10건마다 저장된 녹취록 변형 5개씩, 총 50개 기록입니다. 진료 2건은 새 Hanah 기록을 기다리고 있습니다. WER과 녹취 관련 근거는 원래 수집 날짜를 유지하며, 다른 스크라이브는 기존 결과를 유지합니다. 새 기록은 Sonnet 5.5 medium이 블라인드로 채점한 뒤, 블라인드가 아닌 에이전트 감사를 거쳤습니다. 독립적인 임상의 검증이 없는 잠정 결과입니다. Hanah의 소요 시간은 추정치입니다. 지시 기록 대기 시간은 실측한 API 생성 시간에 준비 여유 시간 2초를 더한 값이고, 기록 확정까지 걸린 시간은 여기에 추정 검토 및 수정 시간을 더합니다. 두 값 모두 녹취 확정 처리와 앱 오버헤드를 제외하며, 실제 환경에서 다시 실행할 때까지 잠정치입니다.
- 로컬 미리보기 — Hanah 기록은 2026년 10월 11일 GPT-6.1 Sol(낮은 추론 수준)로 다시 생성했습니다. 진료 10건마다 저장된 녹취록 변형 5개씩, 총 50개 기록입니다. 진료 2건은 새 Hanah 기록을 기다리고 있습니다. WER과 녹취 관련 근거는 원래 수집 날짜를 유지하며, 다른 스크라이브는 기존 결과를 유지합니다. 새 기록은 Sonnet 5.5 medium이 블라인드로 채점한 뒤, 블라인드가 아닌 에이전트 감사를 거쳤습니다. 독립적인 임상의 검증이 없는 잠정 결과입니다. Hanah의 중지 후 기록 생성 시간과 기록 확정 시간은 실제 환경에서 다시 실행할 때까지 제공되지 않습니다.
- 기록 1건은 제품 오류로 집계했습니다: 2회차의 PatientNotes day5.
- 평균 RAM과 평균 CPU는 위의 12개 사례 묶음이 아니라 별도의 스트레스 테스트에서 나온 값입니다. 연속된 50분 마이오테라피(근육 치료) 진료 한 건을 모든 스크라이브가 한 기기에서 동시에 녹음했으며, 절대값은 이러한 자원 경합을 반영합니다.
- 반복 실행에서의 플랫폼 안정성(참고용이며 순위에는 반영하지 않음): 심부전과 TIA 진료를 수집하는 데 Lyrebird는 사용 가능한 10회차를 얻기까지 17번 시도했습니다. 그중 7번은 Lyrebird 측에서 실패했습니다. 다른 스크라이브 5종이 같은 연결로 기록을 생성하는 동안 “인터넷 연결 불량”을 원인으로 든 기록 생성 오류, 서버 연결 종료, 30초 안에 사용할 수 없었던 로딩 4건, 그리고 Subjective 중간에서 멈췄는데도 완료된 것으로 표시된 기록 1건입니다. 해당 수집은 다시 진행했습니다. 이 진료들에서 앱 측 오류가 발생한 스크라이브는 그 외에 없었습니다.
- 1 Hanah: 로컬 미리보기 — Hanah 기록은 2026년 10월 11일 GPT-6.1 Sol(낮은 추론 수준)로 다시 생성했습니다. 진료 10건마다 저장된 녹취록 변형 5개씩, 총 50개 기록입니다. 진료 2건은 새 Hanah 기록을 기다리고 있습니다. WER과 녹취 관련 근거는 원래 수집 날짜를 유지하며, 다른 스크라이브는 기존 결과를 유지합니다. 새 기록은 Sonnet 5.5 medium이 블라인드로 채점한 뒤, 블라인드가 아닌 에이전트 감사를 거쳤습니다. 독립적인 임상의 검증이 없는 잠정 결과입니다. Hanah의 소요 시간은 추정치입니다. 지시 기록 대기 시간은 실측한 API 생성 시간에 준비 여유 시간 2초를 더한 값이고, 기록 확정까지 걸린 시간은 여기에 추정 검토 및 수정 시간을 더합니다. 두 값 모두 녹취 확정 처리와 앱 오버헤드를 제외하며, 실제 환경에서 다시 실행할 때까지 잠정치입니다..
- 2 CliniScripts: 기본 템플릿 기록으로 채점.
- 3 Lyrebird: 11개 사례(프랑스어 제외).
- 4 Freed: 기본 템플릿 기록으로 채점.
전체 다운로드: 모든 회차의 점수, 녹취록, 기록, 심사단 판단 근거를 담은 JSON 파일 하나 또는 모든 회차의 점수 CSV.
맞대결
스크라이브 두 개 선택
각 줄은 해당 측정 항목에서 더 나은 결과를 낸 스크라이브 쪽으로 당겨집니다. 리본이 중앙선에서 멀어질수록 격차가 큽니다. 음영 띠는 각 스크라이브의 최고 회차와 최저 회차 사이에서 리본이 놓일 수 있는 범위이며, 띠가 넓으면 결과가 일관되지 않다는 뜻입니다. 작은 숫자는 회차 범위입니다.
한 단계 더 깊이
임상 사례별 결과
각 진료는 모든 채점 회차에 걸쳐 같은 오디오로 스크라이브를 비교합니다. 하나를 열면 회차별 녹취록과 기록을 모든 오류가 표시된 상태로 읽을 수 있습니다.
영어 진료
영어 진료 테스트 6건.
언어별 진료
기능 미지원에 따른 제외와 번역을 고려한 해석을 적용한 별도 비교.
의사 구술
출판사의 정답지로 만든 축어적 기준에 대해 채점합니다. 음성으로 말한 구술 명령은 채점하지 않습니다.
장시간 세션 스트레스 테스트
배경 방해 요소가 포함된 50분 합성 테스트 자료. 종합 결과에 포함됩니다.
결과 살펴보기