결과 · 게시
신경과 분야 최고의 AI 스크라이브
Hanah는 일과성 허혈 발작(TIA) 의심 진료에서 저희가 테스트한 AI 스크라이브 중 가장 우수했습니다. Heidi가 시간 면에서 오차 범위 이내의 차이로 2위였고, Lyrebird가 3위였습니다.
테스트
이 진료는 PriMock57 세트에 포함된 일반의(GP) 화상 진료입니다. 환자는 며칠에 걸쳐 오른손의 따끔거림과 감각 저하가 오른쪽 팔과 다리의 근력 약화와 함께 나타났다 사라지기를 반복하고 있습니다. 6개의 AI 스크라이브가 이 진료를 각각 5회씩 녹음했고, 모든 기록은 진료 중 언급된 46개의 임상 사실을 기준으로 블라인드 방식으로 채점되었습니다. 스크라이브 순위는 기록 확정까지 걸린 시간으로 매깁니다. 이는 중지 버튼을 누른 뒤의 대기 시간에 임상의가 기록을 검토하고 잘못된 부분을 수정하는 데 필요한 시간을 더한 값입니다. 녹음, 녹취록, 기록, 채점 근거는 테스트 페이지에서 확인할 수 있습니다.
결과
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록당 기록 오류 | 포괄률 | 기록당 환각 플래그 | 단어 오류율 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 3분 41초 | 5.4 | 94% | 0.8 | 9.1% |
| 2 | Heidi | 5분 07초+1분 27초 | 11.8+6.4 | 79%−15% | 0.4 | 10.8%+1.7% |
| 3 | Lyrebird | 6분 09초+2분 28초 | 14.6+9.2 | 82%−12% | 3.6+2.8 | 15.1%+6.0% |
| 4 | CliniScripts | 6분 12초+2분 32초 | 12.2+6.8 | 80%−14% | 1.4+0.6 | 8.7% |
Hanah 기록은 진료가 끝난 뒤 평균 3분 41초 만에 확정할 수 있는 상태가 되었습니다. 사실의 94%를 포착했으며, 기록당 기록 오류는 5.4건이었습니다. 기록을 검토하고 수정하는 데 걸린 시간은 기록을 직접 작성하는 것보다 62% 짧았습니다.
Heidi는 평균 5분 7초였습니다. Heidi의 가장 빠른 회차(3분 50초)가 Hanah의 가장 느린 회차(3분 51초)보다 빨랐으므로, 두 스크라이브의 시간 차이는 오차 범위 이내입니다. 평균적으로는 Hanah가 더 빨랐고, 기록 오류는 Heidi의 절반에도 미치지 않았습니다(5.4건 대 11.8건). 환각 플래그는 Heidi가 기록당 0.4건으로 가장 적었고, Hanah는 0.8건이었습니다.
Lyrebird가 6분 9초로 3위, CliniScripts가 6분 12초로 4위였습니다. 이 진료에서 단어 오류율은 CliniScripts가 8.7%로 가장 낮았고, Hanah는 9.1%였습니다.
주요 발견
- 통화 중 영상이 끊겨 의사는 환자를 볼 수 없었고, 진찰은 시행되지 않았습니다. Hanah는 모든 회차에서 이를 기록했고, Heidi는 한 번도 온전히 기록하지 않았습니다.
- 환자는 인터넷에서 정보를 읽고 스스로 아스피린을 복용하기 시작했습니다. Hanah는 모든 회차에서 이를 기록했고, Lyrebird는 모든 회차에서 일부만 기록했습니다.
- 환자는 그 외에는 건강하다고 말했습니다. Hanah는 모든 회차에서 이를 기록한 반면, Heidi와 CliniScripts는 모든 회차에서 이를 누락했습니다.
- Lyrebird는 녹취록 5건 중 4건에서 "asthma"(천식)를 "acne"(여드름)로 잘못 들었습니다.
Heidi 리뷰에서는 12건의 진료 전체에서 Heidi가 보인 결과를 영상 해설과 함께 다룹니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.