임상 기술 리뷰제01호 / 2026년 9월
결과 살펴보기 →

검증대에 오른 임상 기술

AI 스크라이브, 현미경으로 들여다보다.

저희는 같은 녹음 진료로 AI 스크라이브를 테스트합니다. 녹취, 진료 기록, 속도에서 서로 어떻게 비교되는지 살펴본 뒤, 수치 뒤에 있는 사례를 자세히 들여다보십시오.

모든 진료에는 환자의 질환, 증상 또는 징후와 관련해 말한 모든 사실의 목록이 있습니다. Weiner 등(2020)이 의사 기록을 감사할 때 사용한 기준입니다. 이 목록은 어떤 기록도 채점하기 전에 각 기준 녹취록만 보고 AI가 초안을 작성했으며, 모든 사실에는 근거가 된 발화 줄이 인용되어 있습니다.

스크라이브 6종 평가Hanah GPT-6.1 Sol 로컬 미리보기 · 2026년 10월 11일평가 방법 Heidi 리뷰 영상

로컬 미리보기 — Hanah 기록은 2026년 10월 11일 GPT-6.1 Sol(낮은 추론 수준)로 다시 생성했습니다. 진료 10건마다 저장된 녹취록 변형 5개씩, 총 50개 기록입니다. 진료 2건은 새 Hanah 기록을 기다리고 있습니다. WER과 녹취 관련 근거는 원래 수집 날짜를 유지하며, 다른 스크라이브는 기존 결과를 유지합니다. 새 기록은 Sonnet 5.5 medium이 블라인드로 채점한 뒤, 블라인드가 아닌 에이전트 감사를 거쳤습니다. 독립적인 임상의 검증이 없는 잠정 결과입니다. Hanah의 소요 시간은 추정치입니다. 지시 기록 대기 시간은 실측한 API 생성 시간에 준비 여유 시간 2초를 더한 값이고, 기록 확정까지 걸린 시간은 여기에 추정 검토 및 수정 시간을 더합니다. 두 값 모두 녹취 확정 처리와 앱 오버헤드를 제외하며, 실제 환경에서 다시 실행할 때까지 잠정치입니다.

벤치마크 · 2026년 9월 22일

AI 스크라이브 대 직접 기록을 작성하는 의사

스크라이브 6종, 진료 12건, Hanah 기록 미리보기는 10개 사례 기준이며, 다른 결과는 원래 날짜를 유지합니다. 의사 열의 수치는 저희 채점이 아니라 발표된 연구에서 가져왔습니다.

표를 밀거나 스크롤하면 모든 스크라이브를 볼 수 있습니다 →

의사가 직접 작성한 기록과 각 AI 스크라이브의 주요 측정 항목.
측정 항목의사가 직접 작성한 기록(발표된 연구)*HanahHeidiCliniScriptsLyrebirdFreedPatientNotes
검토 전 기록에서 질환, 증상 또는 징후에 관한 사실을 놓쳤거나, 일부만 담았거나, 지어낸 경우(Weiner 등). 낮을수록 좋습니다.
의사가 직접 작성하는 시간(100%) 대비 비율. 낮을수록 좋습니다.
기록을 손으로 직접 작성하는 작업 대비, 기록을 고치는 데 드는 작업의 비율. 낮을수록 좋습니다.
누락되거나, 일부만 담기거나, 지어낸 사실이 없는 기록. 높을수록 좋습니다.

전체 측정 항목 · 2026년 9월 22일

AI 스크라이브 6종, 진료 12건

기록은 블라인드로 채점했으며, 새 Hanah 결과에는 잠정적인 에이전트 감사를 추가했습니다. 각 수치는 회차 평균이며, 셀을 선택하면 모든 회차를 볼 수 있습니다.

로컬 미리보기 — Hanah 기록은 2026년 10월 11일 GPT-6.1 Sol(낮은 추론 수준)로 다시 생성했습니다. 진료 10건마다 저장된 녹취록 변형 5개씩, 총 50개 기록입니다. 진료 2건은 새 Hanah 기록을 기다리고 있습니다. WER과 녹취 관련 근거는 원래 수집 날짜를 유지하며, 다른 스크라이브는 기존 결과를 유지합니다. 새 기록은 Sonnet 5.5 medium이 블라인드로 채점한 뒤, 블라인드가 아닌 에이전트 감사를 거쳤습니다. 독립적인 임상의 검증이 없는 잠정 결과입니다. Hanah의 소요 시간은 추정치입니다. 지시 기록 대기 시간은 실측한 API 생성 시간에 준비 여유 시간 2초를 더한 값이고, 기록 확정까지 걸린 시간은 여기에 추정 검토 및 수정 시간을 더합니다. 두 값 모두 녹취 확정 처리와 앱 오버헤드를 제외하며, 실제 환경에서 다시 실행할 때까지 잠정치입니다.

표를 밀거나 스크롤하면 모든 스크라이브를 볼 수 있습니다 →

모든 회차에 걸친 스크라이브별 평균 결과. 임상 정보 포괄률을 제외하면 낮을수록 좋습니다. 셀을 선택하면 회차별 분포가 열립니다.
측정 항목의사가 직접 작성한 기록(발표된 연구)*Hanah1HeidiCliniScripts2Lyrebird3Freed4PatientNotes
중지 버튼을 누른 뒤 채점 대상 기록이 나오기까지의 대기 시간에 검토 시간을 더한 값입니다. 곧바로 검토할 경우 기록을 확정할 수 있기까지 걸리는 시간입니다.
8분 6초
진료의 사실 목록에 있는 모든 사실을 온전히 담고 환각 플래그가 없어 수정할 것이 전혀 없었던 기록의 비율입니다.
10%
0%는 편집이 전혀 필요 없다는 뜻이고, 100%는 기록 전체를 손으로 직접 작성하는 것과 같다는 뜻입니다. 수정 사항에는 드는 작업량에 따라 가중치를 둡니다. 부분 반영된 사실 1, 누락된 사실 2, 환각 플래그 3이며, 사실이 잘못 기록된 경우 2를 더합니다.
100%
임상의가 기록 한 건을 교정하고 수정하는 데 걸리는 추정 시간입니다(읽기 190 wpm, 누락되거나 부분 반영된 사실마다 떠올리는 데 5초와 40 wpm 입력, 환각 플래그마다 확인 및 삭제에 12초. 잘못된 사실은 다시 입력하기 전에 이 확인 과정을 거치는 것으로 포함).
—
모든 사례와 회차를 통틀어 검토와 수정에 가장 오래 걸린 기록 한 건입니다.
—
기록을 직접 작성하는 시간(8.1분, Apathy 등 2023의 중앙값)에서 검토 시간을 뺀 값입니다.
—
기록을 검토하고 수정하는 것이 직접 작성하는 것(8.1분, Apathy 등 2023의 중앙값)보다 얼마나 빠른지를 나타냅니다. 음수는 더 느리다는 뜻입니다.
—
환자의 질환, 증상 또는 징후와 관련해 말한 모든 사실의 목록(Weiner 등 2020)을 기준으로, 기록이 놓쳤거나 일부만 담은 관련 사실에 모든 환각 플래그를 더한 값입니다(Weiner 등과 마찬가지로 잘못된 세부 사항은 두 번 셉니다). 12개 사례에 걸친 회차당 합계입니다. 단순 개수는 환각 플래그 항목에 있습니다.
60.0
기록 100건당 기록 오류(Weiner 등 기준)에 70%를 곱한 값입니다. Biro 등(2025)에서 AI 초안을 검토한 일반의들은 의도적으로 심어 둔 각 오류를 65–75%의 경우 수정하지 않았습니다. 통상적인 검토를 거친 뒤에도 남을 오류의 추정치이며, 12개 사례에 걸친 값입니다.
500
Weiner 등(2020)이 진료 녹음과 대조해 확인한 의사 기록에서 찾은 기록당 오류 5.0개와 비교한 값입니다. 저희 테스트는 그들보다 엄격하게 세므로, 이 비교는 의사에게 유리합니다. 100%는 오류가 없다는 뜻이고, 0% 미만은 의사보다 오류가 많다는 뜻입니다. 11개 사례에 걸친 값입니다.
0%
잘못된 수치, 좌우, 용량, 시점을 포함해, 기록에 적혔지만 진료 내용으로 뒷받침되지 않는 모든 임상 요소입니다. Weiner 등(2020)의 작위 오류(errors of commission)에 해당합니다. 실제로 말한 내용을 바꿔 쓰거나 임상 용어로 옮긴 것은 세지 않습니다. 12개 사례에 걸친 기록당 평균입니다.
1.72
임상의가 고쳐야 할 누락 항목, 부분 반영 항목, 환각 플래그의 기록당 개수입니다.
6.06
각 진료의 사실 목록 중 기록이 담아낸 비율입니다(부분 반영은 절반으로 계산).
—
임상적 의미를 바꾸는 잘못 들은 단어로, 블라인드로 평가했으며 12개 사례에 걸친 값입니다.
—
사람이 작성한 기준 녹취록에 대한 회차별 통합 단어 오류율입니다. 군말을 포함해 모든 단어를 똑같이 셉니다.
—
중지 버튼을 누른 뒤 저희 지시문에 따라 작성된 기록이 나오기까지 걸린 시간의 회차별 중앙값입니다.
—
회차별 진료당 평균 네트워크 데이터 사용량입니다.
—
물리 메모리 사용량(macOS `footprint`, 활동 모니터의 메모리 열과 동일)으로, 연속된 50분 스트레스 테스트 진료 한 건 동안 1분마다 측정했습니다. 위의 12개 사례 묶음과는 별개입니다. 모든 스크라이브가 한 기기에서 이 진료를 동시에 녹음했으므로, 절대값은 개별 실사용 환경이 아니라 스크라이브 간 자원 경합을 반영합니다. 여기서는 스크라이브끼리 비교하고, 기기 사양표와 비교하지 마십시오.
—
같은 연속 50분 스트레스 테스트 진료 동안 분당 사용한 CPU로, 누적 CPU 사용 시간(초)을 실제 경과 시간으로 나눠 측정했습니다(스크라이브가 코어를 두 개 이상 쓰면 100%를 넘을 수 있습니다). 모든 스크라이브를 한 기기에서 동시에 실행했습니다.
—

전체 다운로드: 모든 회차의 점수, 녹취록, 기록, 심사단 판단 근거를 담은 JSON 파일 하나 또는 모든 회차의 점수 CSV.

한 단계 더 깊이

임상 사례별 결과

종합 결과 보기 →

각 진료는 모든 채점 회차에 걸쳐 같은 오디오로 스크라이브를 비교합니다. 하나를 열면 회차별 녹취록과 기록을 모든 오류가 표시된 상태로 읽을 수 있습니다.

의사 구술

출판사의 정답지로 만든 축어적 기준에 대해 채점합니다. 음성으로 말한 구술 명령은 채점하지 않습니다.

장시간 세션 스트레스 테스트

배경 방해 요소가 포함된 50분 합성 테스트 자료. 종합 결과에 포함됩니다.