결과 · 게시
마이오테라피 분야 최고의 AI 스크라이브
Hanah는 50분 마이오테라피 진료에서 저희가 테스트한 AI 스크라이브 중 가장 우수했으며, 오차 범위를 넘는 차이로 앞섰습니다. Heidi가 2위, CliniScripts가 3위였습니다.
테스트
이 진료는 오래된 요통의 급성 악화와 오른쪽 어깨 통증을 다루는 긴 치료 세션으로, 가정 스트레칭 프로그램과 물건 들기 요령 안내로 마무리됩니다. 배경에서 텔레비전 소리와 다른 방의 목소리가 계속 들리는, 이 벤치마크의 스트레스 테스트입니다. 6개의 AI 스크라이브가 이 진료를 각각 5회씩 녹음했고, 모든 기록은 진료 중 언급된 40개의 임상 사실을 기준으로 블라인드 방식으로 채점되었습니다. 스크라이브 순위는 기록 확정까지 걸린 시간으로 매깁니다. 이는 중지 버튼을 누른 뒤의 대기 시간에 임상의가 기록을 검토하고 잘못된 부분을 수정하는 데 필요한 시간을 더한 값입니다. 녹음, 녹취록, 기록, 채점 근거는 테스트 페이지에서 확인할 수 있습니다.
결과
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록당 기록 오류 | 포괄률 | 기록당 환각 플래그 | 단어 오류율 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2분 45초 | 5.2 | 92% | 1.0 | 1.3% |
| 2 | Heidi | 3분 41초+56초 | 9.6+4.4 | 82%−10% | 0.8 | 3.9%+2.6% |
| 3 | CliniScripts | 4분 16초+1분 31초 | 9.0+3.8 | 88%−4% | 2.2+1.2 | 1.1% |
| 4 | Freed | 4분 40초+1분 54초 | 6.4+1.2 | 86%−5% | 0.8 | 66.8%+65.6% |
Hanah 기록은 진료가 끝난 뒤 평균 2분 45초 만에 확정할 수 있는 상태가 되었고, 5회 회차 간 차이는 7초 이내였습니다. 사실의 92%를 포착했으며, 기록당 기록 오류는 5.2건으로 모든 스크라이브 중 가장 적었습니다. 기록을 검토하고 수정하는 데 걸린 시간은 기록을 직접 작성하는 것보다 71% 짧았습니다.
Heidi가 3분 41초로 2위, CliniScripts가 4분 16초로 3위였습니다. CliniScripts는 포괄률이 88%로 두 번째로 높았습니다. Freed는 4분 40초로 4위였고, 기록 오류는 6.4건으로 두 번째로 적었습니다.
단어 오류율은 CliniScripts와 Hanah가 각각 1.1%와 1.3%로 가장 낮았으며, 그 차이는 오차 범위 이내입니다. 두 스크라이브 모두 어느 회차에서도 임상적 의미를 바꾸는 오인식 단어가 없었습니다.
주요 발견
- Hanah는 50분 동안 13.5 MB의 데이터를 사용했습니다. Heidi는 145 MB, CliniScripts는 132 MB를 사용했습니다.
- Freed의 녹취록에는 진료에 포함되지 않은 긴 구간이 들어 있었고, 이 때문에 단어 오류율이 66.8%까지 올라갔습니다.
- Hanah와 CliniScripts는 배경의 텔레비전 소리에도 불구하고 어느 회차에서도 임상적 의미를 바꾸는 오인식 단어가 없었습니다.
- Hanah의 기록당 환각 플래그 1건은 모든 회차에서 같았습니다. 요통을 "기계적 패턴(mechanical-pattern)"의 악화로 분류했는데, 치료사는 그렇게 말하지 않았습니다.
Heidi 리뷰에서는 12건의 진료 전체에서 Heidi가 보인 결과를 영상 해설과 함께 다룹니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.