평가 방법 / 신비주의가 아닌 버전 관리

평가 방법과 한계

로컬 미리보기 — Hanah 기록은 2026년 10월 11일 GPT-6.1 Sol(낮은 추론 수준)로 다시 생성했습니다. 진료 10건마다 저장된 녹취록 변형 5개씩, 총 50개 기록입니다. 진료 2건은 새 Hanah 기록을 기다리고 있습니다. WER과 녹취 관련 근거는 원래 수집 날짜를 유지하며, 다른 스크라이브는 기존 결과를 유지합니다. 새 기록은 Sonnet 5.5 medium이 블라인드로 채점한 뒤, 블라인드가 아닌 에이전트 감사를 거쳤습니다. 독립적인 임상의 검증이 없는 잠정 결과입니다. Hanah의 소요 시간은 추정치입니다. 지시 기록 대기 시간은 실측한 API 생성 시간에 준비 여유 시간 2초를 더한 값이고, 기록 확정까지 걸린 시간은 여기에 추정 검토 및 수정 시간을 더합니다. 두 값 모두 녹취 확정 처리와 앱 오버헤드를 제외하며, 실제 환경에서 다시 실행할 때까지 잠정치입니다.

모든 수치에는 정의가 필요합니다. 모든 비교에는 같은 입력이 필요합니다. 이번 호에서 무엇을 측정하는지, 그리고 무엇을 입증할 수 없는지 설명합니다.

사용자 경험

저희는 사용자 경험을 테스트하지 않습니다. 저희가 본 바로는 AI 스크라이브는 제품마다 거의 같습니다. 녹음 버튼을 누르고, 진료를 진행하고, 기록을 받습니다. 제품을 가르는 것은 구매하는 이유이므로, 저희는 바로 그것을 객관적으로 측정합니다. 각 스크라이브가 진료를 얼마나 정확하게 듣는지, 기록이 얼마나 정확하고 완전한지, 확정할 수 있는 기록을 얻기까지 얼마나 걸리는지입니다.

실제 제품 사용 환경

Playwright로 제어하는, 화면에 표시되는 Chromium 브라우저를 통해 같은 오디오를 재생합니다. 각 수집에는 로그인된 프로필의 독립된 사본을 사용합니다. 오디오는 공용 테스트 도구로 44.1 kHz 모노 PCM으로 준비하며, 앞에 1초, 뒤에 10초의 무음을 둡니다. 이는 제품에 들어가는 마이크 입력이며, 제품이 서버로 보내는 코덱을 지정하지는 않습니다.

테스트 도구는 화면에 보이는 녹취록 변화, 최종 녹취록, 생성된 기록, UI 이벤트, 세션 전체의 네트워크 총량을 기록합니다. 영상은 녹화하지 않습니다. 언어 선택이 필요한 제품은 녹음 전에 설정하며, 지원되지 않는 조합은 제외합니다.

시나리오별 다회 실행

같은 시나리오 데이터라도 실행마다 결과가 달라지므로, 각 시나리오를 여러 번 실행했습니다. 모든 스크라이브는 참여한 각 진료를 다섯 번씩 실행했습니다. 모든 수치는 회차 평균이며, 모든 셀을 열면 회차마다 점 하나로 표시한 차트가 나옵니다.

Lyrebird는 프랑스어 사례를 지원하지 않으므로 지원하는 사례로만 점수를 매깁니다. 수집 1건은 제품 내부에서 실패했습니다(PatientNotes). 해당 회차는 완료된 사례만으로 평균을 냅니다.

최종 녹취록

단어 오류율(WER)은 치환, 삭제, 삽입의 합을 기준 단어 수로 나눈 값으로, 한 회차의 모든 사례를 합쳐 계산합니다. 낮을수록 좋습니다. 텍스트를 수집하기 전에 제품의 확정 처리 컨트롤과 녹취록 안정화를 기다립니다.

"ten"과 "10"처럼 같은 뜻의 숫자 표기는 같은 단어로 세며, 사례 페이지에서도 강조 표시하지 않습니다. 축약형은 글자 그대로의 차이로 남습니다. 힌디어에는 문서화된 문자 동등성 정책을 적용합니다.

WER은 모든 단어를 똑같이 취급하므로, 저희는 유의한 녹취록 오류도 셉니다. 각 녹취록을 기준 녹취록과 비교해 군말이나 기능어만의 차이는 제외하고, 남은 차이 하나하나를 블라인드 평가자가 판정합니다. 진단, 치료, 추적 관찰, 안전 또는 의무기록을 바꿀 수 있는가? 잘못된 약물, 용량, 숫자, 좌우, 뒤집힌 부정은 대개 그렇습니다. 철자, 바꿔 말하기, 글자로 받아 적은 구술 명령은 그렇지 않습니다. 똑같은 차이는 어디에 나타나든 같은 판정을 받습니다.

수정된 원자료

원본 녹취록이 녹음에서 실제로 말한 내용과 맞지 않는 경우 이를 수정했으며, 모든 스크라이브는 같은 수정본을 기준으로 채점합니다. "period"(마침표), "next paragraph"(다음 문단) 같은 음성 명령은 채점 전에 제거합니다.

블라인드 기록 채점

모든 기록은 AI 검토자 심사단(Claude 하위 에이전트)이 최소 5번 채점했습니다. 같은 진료의 기록은 무작위로 섞어 A부터 G까지 표시한 묶음으로 나누었고, 모든 기록에 같은 맥락을 제공했습니다.

각 진료에는 환자의 질환, 증상 또는 징후와 관련해 말한 모든 사실의 목록이 있습니다. Weiner 등(2020)이 의사 기록을 진료 녹음과 비교할 때 사용한 기준입니다. 각 사실은 하나의 임상 정보입니다. 증상과 그 세부 사항, 의미 있는 음성 소견, 병력, 약물, 소리 내어 말한 진찰 소견, 평가, 계획이 여기에 해당합니다. 진료당 12개에서 45개, 모두 358개입니다. 진단은 임상의가 말한 경우에만 셉니다. 스크라이브가 진단을 내려서는 안 되기 때문입니다. 약을 어디서 샀는지 같은 중요하지 않은 정황은 제외하고, 구토물의 색이나 통증의 좌우처럼 임상적으로 의미 있는 세부 사항은 남깁니다. 이 목록은 어떤 기록도 보지 않고 기준 녹취록만으로 AI가 초안을 작성했으며, 모든 사실에는 근거가 된 발화 줄이 인용되어 있습니다.

심사단은 각 사실을 완전, 부분 또는 누락으로 표시합니다. 이어서 별도의 블라인드 단계에서, 기록에 적혔지만 진료 내용으로 뒷받침되지 않는 모든 임상 요소에 표시를 합니다. 말한 적이 없거나 다르게 말한 증상, 음성 소견, 병력 항목, 약물, 용량, 소견, 진단 또는 계획 항목입니다(잘못된 수치, 좌우, 용량, 시점 또는 사람, 혹은 가능성을 사실처럼 적은 경우). 이것이 Weiner 등의 작위 오류(errors of commission)이며, 각각이 판단 근거와 함께 환각 플래그가 됩니다. 실제로 말한 내용을 바꿔 쓰거나 임상 용어로 옮긴 것은 세지 않습니다. 놓쳤거나 부분적으로 담은 사실은 모두 기록 오류이며, 모든 환각 플래그도 마찬가지입니다. 잘못 적힌 세부 사항은 Weiner 등과 마찬가지로 두 번 셉니다. 한 번은 올바른 사실의 누락으로, 한 번은 플래그로입니다. 별도의 심각도 평가는 없습니다. 목록의 구성 방식상 목록에 있는 모든 사실이 중요하기 때문입니다.

2026-09-25까지는 진료당 13개에서 16개의 핵심 사실로 된 체크리스트로 기록을 채점했고, 별도의 평가자가 각 오류의 유의성을 판정했습니다. 체크리스트는 기록에서 셀 수 있는 누락 수에 상한을 두었으므로, 두 가지 모두를 전체 사실 목록으로 대체했습니다. 모든 스크라이브의 오류 수가 두세 배로 늘었지만 순위는 거의 바뀌지 않았습니다. 유의한 녹취록 오류에는 여전히 유의성 평가를 사용합니다. 이는 AI 검토입니다. 독립적인 임상의 검증이 아니며, 임상적 안전성을 입증하지 않습니다.

검토 시간

검토 시간은 임상의가 각 기록을 안심하고 확정할 수 있는 상태로 만드는 데 걸리는 시간을 추정합니다.

• 기록 전체를 분당 190단어로 읽습니다.
• 누락되거나 부분 반영된 사실마다 떠올리는 데 5초, 이를 분당 40단어로 입력합니다(부분 반영된 사실은 그 절반).
• 환각 플래그마다 확인하고 삭제하는 데 12초가 걸립니다. 목록의 사실을 잘못 적은 플래그에도 이 12초가 들며, 사실을 다시 입력하는 시간이 더해집니다.

서식 수정은 세지 않습니다. 모든 스크라이브가 서식 지시를 잘 따르기 때문입니다. 기록을 기다리는 시간도 세지 않습니다. 임상의는 보통 그날 늦게 기록을 검토하기 때문입니다. 아래의 기록 확정까지 걸린 시간에는 대기 시간이 포함됩니다.

절약된 시간

절약된 시간은 검토 시간을 같은 기록을 직접 작성하는 시간과 비교합니다. 직접 작성하는 시간은 Apathy 등(2023)에서 미국 외래 진료 의사 203,728명의 방문당 실제 기록 작성 시간 중앙값인 8.1분으로 잡았습니다. 발표된 연구들은 진료 분야와 업무 방식에 따라 6–10분으로 보고합니다. 저희는 두 대표값 중 낮은 쪽인 중앙값을 사용합니다.

절약된 시간은 8.1분에서 해당 기록의 검토 시간을 뺀 값입니다. 모든 스크라이브에 같은 기준선을 적용하므로, 스크라이브가 시간을 더 절약하는 방법은 검토가 덜 필요한 기록을 만드는 것뿐입니다.

직접 작성 대비 단축률

직접 작성 대비 단축률은 절약된 시간을 기록을 직접 작성하는 시간에 대한 비율로 나타낸 값으로, 1에서 검토 시간을 작성 시간으로 나눈 값을 뺀 것입니다. 60%는 기록을 검토하고 수정하는 데 직접 작성하는 시간의 40%가 걸린다는 뜻입니다. 음수라면 기록을 고치는 데 직접 쓰는 것보다 오래 걸린다는 뜻입니다. 각 기록을 따로 점수를 매긴 뒤 회차별로 평균을 냅니다.

기록 확정까지 걸린 시간

기록 확정까지 걸린 시간은 중지 버튼을 누른 뒤 채점 대상 기록이 준비될 때까지의 대기 시간에 검토 시간을 더한 값입니다. 임상의가 진료 직후 바로 각 기록을 검토하는 경우를 가정합니다. 환자 사이의 간격이 이보다 길면, 다음 환자가 들어오기 전에 기록이 확정됩니다. 기본 기록으로 채점하는 스크라이브는 기본 기록까지의 대기 시간을 잽니다. 중지 후 지시 기록까지 걸린 시간과 마찬가지로 실제 제품 실행 회차만 사용합니다.

수정 없이 확정 가능한 기록

심사단이 목록의 모든 사실을 완전히 반영된 것으로 표시하고 환각 플래그를 하나도 찾지 못해 수정할 것이 없는 기록은 수정 없이 확정 가능한 기록입니다. 검토 시간과 마찬가지로 서식은 세지 않습니다. 각 스크라이브의 수치는 이 조건을 충족한 기록의 비율입니다.

편집 작업량

편집 작업량은 기록의 길이와 관계없이 임상의가 기록의 얼마만큼을 여전히 고쳐야 하는지 보여 줍니다. 0%는 편집이 전혀 필요 없다는 뜻이고, 100%는 기록 전체를 손으로 직접 작성하는 것과 같다는 뜻입니다.

각 수정 사항에는 드는 작업량에 따라 가중치를 둡니다.

• 부분 반영된 사실, 1: 고치기만 하면 됩니다.
• 누락된 사실, 2: 떠올려서 써야 합니다.
• 환각 플래그, 3: 찾아내고, 확인하고, 삭제해야 합니다.
• 잘못 기록된 사실, 추가 2: 고치기 전에 잘못된 내용을 찾아내고 확인해야 합니다.

기록의 가중치를 모두 더한 뒤, 직접 작성할 때의 점수로 나눕니다. 직접 작성할 때의 점수는 진료 사실 목록의 사실마다 2입니다. 환각이 많으면 100%를 넘을 수 있습니다.

의무기록에 남는 오류

임상의가 기록을 검토한 뒤에도 의무기록에 남아 있을 기록 오류(Weiner 등 기준)의 수를 추정한 값입니다. 각 스크라이브의 기록당 기록 오류에 70%를 곱합니다.

70%는 Biro 등(2025)에서 가져왔습니다. 일차 의료 일반의 20명이 환자 메시지에 대한 AI 작성 답장 초안을 검토했으며, 그중 4건에는 의도적으로 오류를 심어 두었습니다. 각 오류는 일반의 20명 중 13–15명이 수정하지 않았으므로, 검토자의 65–75%가 오류를 놓친 셈입니다. 저희는 중간값인 20명 중 14명을 사용합니다.

이는 측정값이 아니라 추정치입니다. Biro 등은 진료 기록이 아니라 환자 메시지에 대한 답장을 연구했으며, 검토 습관은 사람마다 다릅니다. 모든 스크라이브에 같은 비율을 적용하므로 순위나 스크라이브 간 격차는 바뀌지 않습니다. 이 값은 초안의 오류를 통상적인 검토 후에도 남을 오류로 바꿔 보여 줍니다. 수치는 채점한 모든 기록을 합쳐 계산하며, 범위는 같은 수치를 회차별로 계산한 것입니다.

의사가 직접 작성한 기록

의사 열은 의사가 손으로 직접 기록을 작성하는 경우를 보여 주며, 저희 채점이 아니라 발표된 연구에서 가져온 수치입니다.

• 오류: Weiner 등(2020)은 의사 기록 105건을 표준화 환자 진료의 비밀 녹음과 비교했습니다. 기록당 오류는 6.1개였고, 그중 5.0개가 그들의 기준을 충족했습니다(그들은 이를 임상적으로 유의한 오류라고 불렀습니다). 72%는 누락이었고, 기록당 1.7개는 실제로 일어나지 않은 일을 기록한 것이었습니다. 기록의 90%에 오류가 하나 이상 있었습니다. 저희 사실 목록은 어떤 사실을 셀지에 대해 같은 기준을 사용합니다. 표의 회차당 수치는 기록당 값 × 진료 11건입니다.
• 시간: Apathy 등(2023)은 미국 외래 진료 의사 203,728명의 방문당 실제 기록 작성 시간 중앙값을 8.1분(평균 9.1분)으로 측정했습니다. 같은 8.1분이 절약된 시간의 직접 작성 기준선이며, 주요 표는 각 스크라이브의 기록 확정까지 걸린 시간을 이에 대한 비율로 보여 줍니다.
• 수정 없이 확정 가능: Weiner 등은 기록의 90%에서 오류를 하나 이상 찾았으므로, 의사가 직접 작성한 기록의 10%는 그대로 통과합니다. 편집 작업량은 정의상 100%입니다. 의사가 기록 전체를 작성하기 때문입니다.

이 수치는 동일 조건 비교가 아니며, 그 차이는 의사에게 유리합니다. 스크라이브는 사실 하나에 임상 정보 하나씩, 부분 반영도 오류로 세는 저희 사실 목록을 기준으로 채점됩니다. Weiner 등은 실제 진료 기록에서 더 큰 단위의 요소를 셌습니다. 둘 중 저희 테스트가 더 엄격합니다. 저희 방식으로 채점하면 의사 기록 6건(아래 참조)이 각각 오류 26개로 나왔으며, Weiner 등의 5.0개와 대비됩니다. 한 가지 차이는 의도적입니다. Weiner 등은 기록된 진찰 소견을 제외했습니다. 녹음으로는 의사가 환자를 진찰했는지 알 수 없기 때문입니다. 이 이유는 말한 내용만 아는 스크라이브에는 적용되지 않으므로, 스크라이브 기록에 말한 적이 없는 진찰 소견이 있으면 환각 플래그로 셉니다. 공정한 비교라면 독립적인 임상의가 저희 진료 12건에 대해 기록을 작성하고, 스크라이브와 함께 블라인드로 채점해야 합니다. 저희는 아직 그렇게 하지 않았습니다. 그때까지 의사 열은 이 벤치마크의 결과가 아니라 발표된 참고 기준으로 읽어 주십시오.

"의사가 직접 작성한 기록 대비 오류 감소율"은 100%에서, 각 스크라이브의 기록당 오류를 Weiner 등의 5.0개에 대한 비율로 나타낸 값을 뺀 것으로, 채점한 모든 기록을 합쳐 계산합니다. 100%는 오류가 없다는 뜻입니다. 범위는 같은 수치를 회차별로 계산한 것입니다.

이 비교는 검토 전의 스크라이브 기록을, 아무도 검토하지 않는 제출된 그대로의 의사 기록과 견줍니다. 검토가 스크라이브 오류에 대한 믿을 만한 안전장치인 것도 아닙니다. Biro 등(2025)에서 일차 의료 의사 20명이 환자 메시지에 대한 AI 작성 답장 초안을 검토했는데, 심어 둔 각 오류를 그중 13–15명이 수정하지 않았습니다. 오류가 있는 초안의 35–45%가 수정 없이 발송되었습니다.

저희 자체 점검. 진료 12건 중 8건은 PriMock57에서 가져왔으며, 이 자료는 진료한 의사가 당시 작성한 기록을 공개합니다(Babylon 일반의 7명, 10분짜리 모의 화상 진료, 실시간으로 입력하고 검토 없이 공개한 기록). 처음 6건에 대해서는 각 의사의 기록을 해당 사례의 스크라이브 기록 사이에 섞어 같은 사실 목록으로 블라인드 채점했습니다. 의사 기록은 평균 26개의 오류를 보였고, 대부분 누락이었으며, 오류가 없는 기록은 하나도 없었습니다. 같은 진료 6건에서 스크라이브는 평균 4.3개(Hanah)에서 19.7개(PatientNotes)였습니다. 짧은 기록 6건에 불과하므로 이를 의사 오류율로 발표하지는 않습니다. 다만 같은 진료에서 모든 스크라이브의 기록이 의사 자신의 기록보다 오류가 적었음을 보여 주는 동일 조건 점검입니다.

맞대결

맞대결은 두 스크라이브를 모든 측정 항목에서 비교합니다. 점수 아래의 네 가지 핵심 비교는 각각 하나의 측정 항목만 사용하므로 어떤 격차도 두 번 세지 않습니다. 단어 오류율(녹취), 환각 플래그, 기록 오류(Weiner 등 기준, 기록 정확도), 그리고 기록 완료까지 걸린 시간입니다. 각 격차는 더 나은 스크라이브가 해당 항목에서 얼마나 적은지를 나타내며, (나쁜 쪽 − 좋은 쪽) ÷ 나쁜 쪽으로 계산합니다.

"스크라이브 쪽으로 우세"는 격차들의 단순 평균으로, 같은 가중치를 두고 동률은 0%로 셉니다. 이는 대략적인 요약입니다. 네 가지 측정 항목과 동일 가중치는 요약된 결과를 바탕으로 정한 것이며, 큰 격차라도 최대 100%까지만 반영됩니다.

맞대결은 이 가중치 기준으로 선두인 두 스크라이브로 시작합니다. 모든 스크라이브를 다른 모든 스크라이브와 비교해 일대일 승리가 가장 많은 두 스크라이브를 보여 주며, 동률이면 격차의 합으로 가립니다.

기록과 소요 시간

기록 지시를 받는 모든 스크라이브에는 각 제품의 UI를 통해 다음 지시를 주었습니다.

Subjective, Objective, Assessment, Plan 제목을 사용해 SOAP 기록을 작성하십시오. 모든 섹션에서 글머리 기호와 간결한 임상 약어를 사용하십시오.

Freed와 CliniScripts는 이런 방식으로 지시를 받지 않으므로 기본 기록으로 채점합니다. "중지 후 지시 기록까지" 항목은 지시 기록이 있는 경우 여전히 지시 기록까지의 시간을 잽니다.

중지 후 지시 기록까지 걸린 시간은 중지 버튼을 누른 뒤 요청한 기록이 준비될 때까지 걸린 시간의 회차별 중앙값입니다. 완료 판정에는 짧은 UI 안정화 대기가 포함되며, 수집은 기기와 인터넷 연결을 공유하므로 독립적인 서버 지연 시간 테스트가 아닙니다.

데이터 사용량

Chromium NetLog 총량에는 앱 로딩, 녹음, 확정 처리, 기록, 브라우저 종료가 포함되며, WebSocket 전송도 포함됩니다. 소켓 및 UDP 바이트 이벤트는 한 번만 셉니다. 복호화된 HTTP 및 WebSocket 페이로드는 다시 더하지 않습니다. 이는 인터넷 서비스 제공업체가 청구하는 트래픽이 아닙니다. 패킷 헤더와 TCP 재전송은 포함되지 않습니다. 누락되었거나 유효하지 않은 로그는 0이 아니라 '데이터 없음'으로 처리합니다.

재현 가능성

전체 자료를 JSON 파일 하나로 다운로드하십시오. 진료 12건 전체에 대해 모든 회차의 점수, 녹취록, 오류 표시, 기록, 사실 판정, 심사단 판단 근거가 담겨 있습니다. 점수만 담은 CSV도 있습니다. 원본 녹음은 각 진료 페이지에서 재생하거나 다운로드할 수 있습니다. 인증 프로필과 원시 네트워크 로그는 공개하지 않습니다.