결과 · 게시
힌디어 진료 최고의 AI 스크라이브
Hanah는 전체가 힌디어로 진행된 진료에서 테스트한 AI 스크라이브 중 가장 우수했습니다. CliniScripts가 2위, Heidi가 3위였습니다. CliniScripts와 Hanah는 기록 정확도에서 오차 범위 이내였으며, 시간과 전사에서는 Hanah가 앞섰습니다.
테스트
이 진료는 힌디어로 진행된 짧은 외래 진료입니다. 환자는 2주째 피로, 저녁에 심해지는 두통, 간헐적인 어지럼증, 업무 스트레스로 인한 수면 부족을 호소하며, 의사는 혈액 검사를 처방하고 식사, 수분 섭취, 수면에 대해 조언합니다. 6개의 AI 스크라이브가 이 진료를 각각 5회씩 녹음했고, 제품이 언어 선택을 요구하는 경우 힌디어로 설정했습니다. 모든 기록은 진료 중 언급된 임상 사실 17개를 기준으로 블라인드 채점되었습니다. 기록은 영어나 힌디어로 작성될 수 있었습니다. 스크라이브 순위는 기록 확정까지 걸린 시간으로 매기며, 이는 중지 버튼을 누른 뒤 기다리는 시간에 임상의가 기록을 검토하고 잘못된 부분을 고치는 데 필요한 시간을 더한 값입니다. 녹음, 녹취록, 기록, 채점 근거는 테스트 페이지에 있습니다.
결과
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록 1건당 기록 오류 | 포괄률 | 기록 1건당 환각 플래그 | 단어 오류율 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 1분 07초 | 2.4 | 93% | 0.0 | 2.0% |
| 2 | CliniScripts | 1분 50초+42초 | 2.2 | 94% | 0.6+0.6 | 3.6%+1.6% |
| 3 | Heidi | 1분 56초+49초 | 3.8+1.4 | 86%−7% | 0.6+0.6 | 4.3%+2.3% |
| 4 | Lyrebird | 2분 12초+1분 05초 | 5.8+3.4 | 82%−11% | 1.4+1.4 | 3.5%+1.5% |
Hanah 기록은 진료 종료 후 평균 1분 7초 만에 확정할 수 있었습니다. 사실의 93%를 담았고, 기록 1건당 기록 오류는 2.4건이었으며, 어느 회차에서도 환각 플래그가 없었습니다. 검토하고 수정하는 데 걸린 시간은 직접 기록을 작성할 때보다 88% 짧았습니다.
CliniScripts는 1분 50초로 2위였습니다. 기록 오류가 기록 1건당 2.2건으로 가장 적었고 포괄률이 94%로 가장 높았지만, 두 항목 모두 Hanah와 오차 범위 이내였습니다. Heidi는 1분 56초로 3위였고 기록 1건당 기록 오류는 3.8건이었으며, Lyrebird는 2분 12초로 4위였습니다.
힌디어 전사가 가장 정확한 것은 Hanah로, 단어 오류율(WER)은 2.0%였습니다. 그다음은 Lyrebird 3.5%, CliniScripts 3.6%였습니다. Hanah는 중지 후 중앙값 10초 만에 기록을 생성했습니다.
주요 발견
- 환자는 가끔 끼니를 거른다고 말했습니다. 한 스크라이브는 이를 대마초를 "가끔 건너뛴다"는 뜻으로 번역했고, 모든 기록에 대마초 사용을 기재했습니다.
- Hanah는 어느 회차에서도 환각 플래그가 없었으며, 환각 플래그가 하나도 없었던 스크라이브는 Hanah뿐이었습니다.
- 환자는 수면 부족의 원인을 업무 스트레스로 꼽았습니다. CliniScripts는 모든 회차에서 이를 기록했고, Hanah는 모든 회차에서 일부만 기록했습니다.
- Hanah는 이 진료에서 3.3 MB의 데이터를 사용해 스크라이브 중 가장 적었습니다. Heidi는 23.3 MB를 사용했습니다.
Heidi 리뷰에서 12건의 진료 전체에 걸친 Heidi의 결과를 영상 설명과 함께 다룹니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.