결과 · 게시
통증 관리 분야 최고의 AI 스크라이브
Hanah는 통증 관리 구술에서 저희가 테스트한 AI 스크라이브 중 가장 우수했습니다. 상위 스크라이브들은 정확도에서 근소한 차이를 보였고 여기서 나타난 여러 차이는 오차 범위 이내이지만, Hanah는 확정할 수 있는 기록을 가장 빨리 만들었고 모든 회차에서 모든 사실을 포착했습니다.
테스트
이 테스트는 짧은 통증 클리닉 요약 구술입니다. 환자는 요통과 왼쪽 다리 저림이 있는 55세 여성으로, MRI에서 L4-5 추간공 협착이 확인되었으며 요추 경막외 스테로이드 주사가 계획되어 있습니다. 6개의 AI 스크라이브가 이 구술을 각각 5회씩 녹음했고, 모든 기록은 구술에 포함된 12개의 임상 사실을 기준으로 블라인드 방식으로 채점되었습니다. 스크라이브 순위는 기록 확정까지 걸린 시간으로 매깁니다. 이는 중지 버튼을 누른 뒤의 대기 시간에 임상의가 기록을 검토하고 잘못된 부분을 수정하는 데 필요한 시간을 더한 값입니다. 기준 녹취록은 아직 음성과 단어 단위로 대조해 검증하지 않았으므로, 이 테스트의 단어 오류율은 잠정치입니다. 녹음, 녹취록, 기록, 채점 근거는 테스트 페이지에서 확인할 수 있습니다.
결과
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록당 기록 오류 | 포괄률 | 기록당 환각 플래그 | 단어 오류율(잠정치) |
|---|---|---|---|---|---|---|
| 1 | Hanah | 42초 | 1.0 | 100% | 1.0 | 7.9% |
| 2 | Lyrebird | 54초+12초 | 1.4+0.4 | 92%−8% | 0.4 | 7.0% |
| 3 | CliniScripts | 59초+18초 | 1.4+0.4 | 92%−8% | 0.4 | 6.7% |
| 5 | PatientNotes | 1분 02초+20초 | 0.8 | 99%−1% | 0.6 | 12.3%+4.4% |
Hanah 기록은 구술이 끝난 뒤 평균 42초 만에 확정할 수 있는 상태가 되었고, 검토에는 33초가 걸렸습니다. 5회 모두에서 사실의 100%를 포착했습니다. Hanah 기록에는 매번 환각 플래그가 1건씩 있었으며, 이 때문에 기록당 기록 오류가 1.0건이 되었습니다.
Lyrebird가 54초로 2위, CliniScripts가 59초로 3위였습니다. 두 스크라이브 모두 기록당 기록 오류는 1.4건, 포괄률은 92%였습니다. CliniScripts의 가장 빠른 회차는 39초로 Hanah의 평균보다 빨랐으며, CliniScripts 기록 5건 중 1건은 편집이 전혀 필요하지 않았습니다.
PatientNotes는 이 구술에서 기록당 0.8건으로 기록 오류가 가장 적었고, 5건의 기록 중 2건은 편집이 전혀 필요하지 않았습니다. Hanah의 1.0건과의 차이는 오차 범위 이내이며, PatientNotes는 기록 확정까지 1분 2초가 걸렸습니다.
잠정 단어 오류율은 CliniScripts가 6.7%로 가장 낮았고, Lyrebird가 7.0%, Hanah가 7.9%였습니다.
주요 발견
- 구술에는 환자의 민족 정보가 포함되어 있습니다. Hanah와 PatientNotes는 모든 회차에서 이를 기록했고, CliniScripts는 5회 중 1회 기록했으며, Lyrebird는 한 번도 기록하지 않았습니다.
- Hanah의 기록당 환각 플래그 1건은 모든 회차에서 같았습니다. MRI 소견을 왼쪽 다리 증상과 연결한 것인데, 구술에서는 그런 연관성을 언급하지 않습니다.
- Hanah, CliniScripts, Lyrebird에는 임상적 의미를 바꾸는 오인식 단어가 없었습니다. 다른 스크라이브들은 "foraminal stenosis"(추간공 협착)와 "extremity"(사지)를 잘못 받아 적었습니다.
- Hanah는 이 구술에 2.5 MB의 데이터를 사용해, 모든 스크라이브 중 가장 적었습니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.