방법론 · 게시
AI 스크라이브를 위한 업계 표준 테스트
ScribeStandard는 모든 AI 스크라이브를 투명하고 엄격한 테스트에 거칩니다. 이 테스트는 마케팅에서 내세우는 정확도 주장을 넘어, 스크라이브가 실제 환경에서 어떻게 작동하는지 보여주도록 설계되었습니다.
진료
벤치마크는 녹음된 진료 12건을 사용합니다. 8건은 1차 진료 상담의 공개 데이터셋인 PriMock57의 모의 일반의(GP) 진료로, 심장내과, 피부과, 소화기내과, 신경과, 비뇨의학과, 정신건강, 알레르기를 다룹니다. 나머지는 전체가 힌디어로 진행된 진료, 프랑스어 진료, 짧은 통증 관리 병력 청취, 그리고 배경에 텔레비전 소리와 다른 방의 목소리가 들리는 상태에서 녹음한 50분짜리 마이오테라피(myotherapy) 치료 세션입니다. 길이는 31초부터 50분까지입니다.
각 녹음은 해당 테스트 페이지에서 재생하고 다운로드할 수 있습니다. 녹음마다 기준 녹취록이 있으며, 데이터셋의 녹취록이 실제 발화와 맞지 않는 경우 수정했습니다. 6개 스크라이브 모두 동일하게 수정된 텍스트를 기준으로 채점됩니다.
임상의가 실제로 쓰는 제품 그대로 테스트
각 스크라이브는 자체 웹 앱으로 테스트합니다. 스크립트가 일반 계정으로 로그인된 화면 표시 모드의 Chromium 브라우저를 조작해 녹음 버튼을 누르고, 진료 음성을 마이크 입력으로 재생한 뒤 중지 버튼을 누릅니다. 모든 스크라이브는 동일한 오디오를 받습니다. 기록 작성 지침을 받는 스크라이브에는 모두 같은 지침, 즉 SOAP 제목 아래 글머리 기호와 간결한 임상 약어로 작성하라는 지침을 입력합니다. Freed와 CliniScripts는 이런 방식으로 지침을 받지 않으므로 기본 기록으로 채점합니다.
모든 스크라이브는 지원하는 모든 진료를 최소 5회씩 녹음했습니다. 동일한 오디오에서도 결과는 회차마다 달라지며, 한 회차만으로는 제품이 실제보다 좋거나 나쁘게 보일 수 있습니다. 사이트의 수치는 회차 평균이며, 각 셀을 열면 회차마다 점 하나로 표시한 차트가 나타납니다.
기록 채점
각 진료에는 환자의 질환, 증상 또는 징후와 관련해 언급된 모든 사실의 목록이 있으며, 12건의 진료에 걸쳐 총 358개 사실입니다. 이는 Weiner 등(2020)이 의사 105명의 기록을 진료 녹음과 대조할 때 사용한 기준입니다. 사실 목록에는 각 사실의 근거가 되는 녹취록 구절이 인용되어 있습니다. 진단은 임상의가 직접 말한 경우에만 목록에 포함되는데, 스크라이브가 진단을 내려서는 안 되기 때문입니다.
같은 진료에 대한 기록은 제품명을 제거하고 한데 섞은 뒤 AI 검토자로 구성된 심사단이 채점합니다. 심사단은 각 사실에 대해 기록이 이를 완전히 담았는지, 부분적으로 담았는지, 누락했는지 표시합니다. 별도의 단계에서는 기록에 적혀 있지만 진료 내용으로 뒷받침되지 않는 모든 것, 예를 들어 아무도 언급하지 않은 증상이나 잘못된 용량, 좌우, 시점을 표시합니다. 이것이 환각 플래그입니다. 누락되었거나 부분적으로만 담긴 사실은 기록 오류이며, 환각 플래그도 기록 오류입니다. 잘못된 세부 내용은 Weiner 등이 집계한 방식대로 두 번 집계됩니다.
임상의 시간
각 기록의 검토 시간은 분당 190단어로 기록을 읽는 시간, 누락된 사실마다 떠올려 입력하는 시간, 환각 플래그마다 확인하고 삭제하는 시간을 바탕으로 추정합니다. 기록 확정까지 걸린 시간은 여기에 중지 버튼을 누른 뒤 기다리는 시간을 더한 것입니다. 두 수치 모두 직접 기록을 작성하는 시간과 비교하며, 이는 Apathy 등(2023)에서 미국 의사 203,728명을 대상으로 한 진료 1건당 중앙값 8.1분입니다.
각 테스트에서 스크라이브 순위는 기록 확정까지 걸린 시간으로 매깁니다. 이것이 임상의가 진료 종료부터 기록 완성까지 들이는 시간이기 때문입니다.
전사, 속도, 데이터
단어 오류율(WER)은 각 스크라이브가 최종적으로 보관하는 녹취록을 기준 녹취록과 비교해 측정합니다. 이 지표는 모든 단어에 같은 가중치를 두므로, 잘못된 약물이나 뒤바뀐 부정 표현도 빠진 "the" 하나보다 더 크게 집계되지 않습니다. 또한 유의한 녹취록 오류, 즉 블라인드 평가자가 진단, 치료, 추적 관찰 또는 안전에 영향을 줄 수 있다고 판단한 차이도 함께 집계합니다.
각 스크라이브가 중지 후 기록을 생성하는 데 걸리는 시간을 측정하고, 앱을 여는 순간부터 브라우저를 닫을 때까지 녹음 세션에서 오가는 모든 데이터를 측정합니다. 한 대의 컴퓨터에서 모든 스크라이브가 동시에 녹음하는 50분 스트레스 테스트로 메모리와 CPU 사용량을 측정합니다.
비교 기준으로서의 의사
결과는 의사가 직접 기록을 작성할 때의 발표된 수치와 나란히 제시됩니다. Weiner 등(2020)에서는 기록 1건당 오류 5.0건, 오류 없는 기록 10%였고, Apathy 등(2023)에서는 작성에 8.1분이 걸렸습니다. 저희 채점은 Weiner 등의 기준보다 엄격하며, 이는 의사에게 유리하게 작용합니다. PriMock57 의사 6명이 직접 작성한 기록을 같은 진료의 스크라이브 기록과 섞어 블라인드로 채점했을 때, 같은 사실 목록 기준으로 평균 26건의 오류가 나왔습니다.
현재 결과
12건의 진료 전체에서 기록 오류는 기록 1건당 4.1건에서 18.0건, 검토 시간은 2분 2초에서 5분 11초 범위였습니다. Hanah는 저희가 공개하는 19개 지표 중 18개에서 1위였습니다. 결과 표에서 모든 지표에 대한 모든 스크라이브의 결과를 볼 수 있으며, 분야와 언어마다 별도의 글이 있습니다.
한계
채점은 AI 검토자가 수행하며 독립적인 임상의의 검증을 거치지 않았습니다. 환각 플래그는 임상적 결과와 관계없이 하나로 집계됩니다. 검토 시간은 고정된 읽기 및 입력 속도를 바탕으로 한 추정치이며, 의사 수치는 서로 다른 진료를 다룬 서로 다른 연구에서 나온 것입니다. 동일 조건에서 비교하려면 독립적인 임상의가 12건의 진료에 대한 기록을 작성하고 이를 스크라이브 기록과 함께 블라인드로 채점해야 하는데, 아직 이를 수행하지 않았습니다.
사용자 경험은 테스트하지 않습니다. 테스트한 모든 스크라이브에서 녹음 버튼을 누르고 기록을 받는 과정이 거의 같기 때문입니다.
데이터
모든 회차의 녹취록, 기록, 사실별 판정, 환각 플래그, 심사단 판단 근거는 JSON 파일 하나에 담겨 있으며, 점수만 따로 CSV로 제공합니다. 전체 방법은 방법론 페이지에 있습니다. 이 스크라이브들의 계정이 있다면 누구나 같은 녹음을 재생해 저희 수치를 확인할 수 있습니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.