결과 · 게시
알레르기·면역 분야 최고의 AI 스크라이브
Hanah는 알레르기 반응 진료에서 저희가 테스트한 AI 스크라이브 중 가장 우수했으며, 오차 범위를 넘는 차이로 앞섰습니다. Heidi가 2위, CliniScripts가 3위였습니다.
테스트
이 진료는 PriMock57 세트에 포함된 일반의(GP) 화상 진료입니다. 젊은 환자가 새우 락사를 먹은 뒤 윗입술이 붓기 시작했고, 의사는 아나필락시스 의심으로 판단해 구급차로 병원에 보냅니다. 6개의 AI 스크라이브가 이 진료를 각각 5회씩 녹음했고, 모든 기록은 진료 중 언급된 30개의 임상 사실을 기준으로 블라인드 방식으로 채점되었습니다. 스크라이브 순위는 기록 확정까지 걸린 시간으로 매깁니다. 이는 중지 버튼을 누른 뒤의 대기 시간에 임상의가 기록을 검토하고 잘못된 부분을 수정하는 데 필요한 시간을 더한 값입니다. 녹음, 녹취록, 기록, 채점 근거는 테스트 페이지에서 확인할 수 있습니다.
결과
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록당 기록 오류 | 포괄률 | 기록당 환각 플래그 | 단어 오류율 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2분 54초 | 6.8 | 85% | 1.0 | 15.1% |
| 2 | Heidi | 4분 44초+1분 50초 | 14.2+7.4 | 73%−12% | 3.4+2.4 | 14.2% |
| 3 | CliniScripts | 4분 52초+1분 58초 | 12.6+5.8 | 73%−12% | 2.2+1.2 | 18.3%+3.3% |
| 4 | Freed | 5분 21초+2분 27초 | 10.6+3.8 | 85% | 4.4+3.4 | 17.2%+2.1% |
Hanah 기록은 진료가 끝난 뒤 평균 2분 54초 만에 확정할 수 있는 상태가 되었습니다. 사실의 85%를 포착했으며, 기록당 기록 오류 6.8건, 환각 플래그 1.0건으로 두 항목 모두 가장 적었습니다. 기록을 검토하고 수정하는 데 걸린 시간은 기록을 직접 작성하는 것보다 66% 짧았습니다.
Heidi가 4분 44초로 2위, CliniScripts가 4분 52초로 3위였으며, 두 스크라이브는 근소한 차이였습니다. Freed는 5분 21초로 4위였습니다. Freed는 포괄률이 85%로 Hanah와 같았고, 기록 오류는 10.6건으로 두 번째로 적었습니다.
이 진료에서 단어 오류율은 Heidi가 14.2%로 가장 낮았고, Hanah는 15.1%였습니다. 임상적 의미를 바꾸는 오인식 단어는 CliniScripts가 회차당 2.4개로 가장 적었습니다.
주요 발견
- 환자는 이 식당에서 평소 채식 수프를 먹었고, 새우 락사는 처음 먹어 본 음식이었습니다. 6개 스크라이브가 작성한 30건의 기록 중 이를 온전히 기록한 것은 단 1건뿐이었습니다.
- 환자는 통화 중 약간 어지럽다고 말했습니다. 대부분의 스크라이브가 적어도 일부 회차에서 "dizzy"(어지러운)를 "busy"(바쁜)로 잘못 들었고, 많은 기록에서 이 증상이 빠졌습니다.
- Freed는 5회 중 4회에서 환자가 혼자 산다고 기록했습니다. 진료 중에는 그런 내용이 전혀 나오지 않습니다.
- 환자는 다른 흡입기를 사용하지 않습니다. Hanah는 모든 회차에서 이를 기록했고, 다른 모든 스크라이브는 최소 3회에서 이를 누락했습니다.
Heidi 리뷰에서는 12건의 진료 전체에서 Heidi가 보인 결과를 영상 해설과 함께 다룹니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.