결과 · 게시
Hanah는 저희 벤치마크에서 최고의 AI 스크라이브입니다
저희는 동일한 12건의 진료를 6개의 AI 스크라이브로 녹음하고, 모든 기록을 동일한 임상 사실 목록을 기준으로 블라인드 방식으로 채점했습니다. Hanah는 저희가 공개하는 19개 지표 중 18개에서 1위를 차지했으며, 여기에는 기록 품질에 관한 모든 지표와 임상의 시간에 관한 모든 지표가 포함됩니다. 각 진료의 녹음, 녹취록, 기록, 채점 근거는 해당 진료의 테스트 페이지에 있으며 다운로드할 수 있습니다.
기록 오류
기록 오류란 기록이 누락했거나 일부만 담은 관련 사실, 또는 진료 내용으로 뒷받침되지 않는 주장을 말합니다. 저희는 Weiner 등(2020)이 의사 기록의 오류를 센 방식과 같은 방식으로 오류를 셉니다. 12건의 진료를 각각 최소 5회 실행한 결과를 평균하면, Hanah의 기록에는 기록당 4.1건의 오류가 있었습니다. Freed는 평균 8.3건, Heidi는 9.0건, CliniScripts는 9.7건, Lyrebird는 11.6건, PatientNotes는 18.0건이었습니다.
Hanah는 관련 사실의 93%를 포착했으며, Freed는 87%, Lyrebird는 82%, Heidi는 81%, CliniScripts는 80%, PatientNotes는 61%였습니다. 환각 플래그도 Hanah가 기록당 0.80건으로 가장 적었고, Heidi가 1.00건으로 근소하게 뒤를 이었습니다.
Weiner 등은 진료 녹음과 대조해 확인한 의사가 직접 작성한 기록에서 기록당 5.0건의 오류를 발견했습니다. 저희 테스트는 이들의 연구보다 더 엄격하게 오류를 세며, 그 수치보다 낮은 스크라이브는 Hanah가 유일했습니다.
검토 및 확정에 걸리는 시간
저희는 임상의가 각 기록을 읽고 잘못된 부분을 수정하는 데 걸리는 시간을 추정합니다. Hanah 기록의 검토에는 2분 2초가 걸렸고, Heidi는 2분 58초, Lyrebird는 3분 43초, CliniScripts는 3분 50초, Freed는 4분 5초, PatientNotes는 5분 11초가 걸렸습니다. 기록을 직접 작성하는 데는 중앙값 8.1분이 걸리므로(Apathy 등 2023), Hanah 기록을 검토하고 수정하는 것은 손으로 직접 작성하는 것보다 75% 빠릅니다. Heidi는 63%, Lyrebird는 54%, CliniScripts는 53%, Freed는 50%, PatientNotes는 36% 빨랐습니다.
중지 버튼을 누른 뒤의 대기 시간을 포함하면, Hanah 기록은 진료가 끝난 뒤 2분 23초 만에 확정할 수 있는 상태가 되었습니다. Heidi는 3분 25초, CliniScripts는 4분 3초, Lyrebird는 4분 6초, Freed는 4분 40초, PatientNotes는 5분 39초가 걸렸습니다.
모든 회차를 통틀어 Hanah 기록 중 검토가 가장 오래 걸린 것은 4분 15초였습니다. 다른 모든 스크라이브에는 검토에 7분 30초 넘게 걸린 기록이 최소 1건 있었고, CliniScripts에서 검토가 가장 오래 걸린 기록은 10분 47초였습니다.
전사, 속도, 데이터
단어 오류율은 Hanah가 12.8%로 가장 낮았고, CliniScripts는 13.0%, Heidi는 13.6%였습니다. 임상적 의미를 바꾸는 오인식 단어는 12건의 진료 전체를 한 번 실행한 회차당 Hanah가 평균 8.6개, CliniScripts가 9.0개였고, 나머지 스크라이브는 21~36개였습니다.
Hanah는 중지 버튼을 누른 뒤 중앙값 19초 만에 기록을 생성했고, 진료당 9.1 MB의 데이터를 사용했습니다. 다른 스크라이브는 21~49초가 걸렸고 17~45 MB를 사용했습니다.
메모리 사용량과 수정 없는 기록
모든 스크라이브가 한 대의 컴퓨터에서 동시에 녹음하는 50분 스트레스 테스트에서 CliniScripts는 평균 972 MB의 메모리를 사용했고, Hanah는 1,103 MB를 사용했습니다. Hanah가 1위를 차지하지 못한 유일한 지표입니다. Hanah의 CPU 사용률은 28.6%로, CliniScripts의 28.8%와 같은 수준이었습니다.
수정 없이 확정 가능한 기록의 비율은 Hanah가 8%로 가장 높았습니다. 이는 모든 사실을 온전히 포착하고 환각 플래그가 없는 기록을 뜻합니다. 이 비율은 Weiner 등이 오류가 없다고 확인한 의사 기록의 비율 10%보다 낮으며, 모든 스크라이브의 모든 기록은 확정 전에 여전히 임상의의 검토가 필요합니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.