결과 · 게시
피부과 분야 최고의 AI 스크라이브
Hanah는 습진 진료에서 테스트한 AI 스크라이브 중 가장 우수했습니다. Heidi가 시간 기준 오차 범위 이내로 2위였고, Lyrebird가 3위였습니다.
테스트
이 진료는 PriMock57 세트에 포함된 일반의(GP) 화상 진료입니다. 환자는 가슴, 손, 팔꿈치 안쪽에 가렵고 따가운 붉은 발진이 4일째 있으며, 이 때문에 밤에 잠을 못 이루고 있습니다. 6개의 AI 스크라이브가 이 진료를 각각 5회씩 녹음했고, 모든 기록은 진료 중 언급된 임상 사실 39개를 기준으로 블라인드 채점되었습니다. 스크라이브 순위는 기록 확정까지 걸린 시간으로 매기며, 이는 중지 버튼을 누른 뒤 기다리는 시간에 임상의가 기록을 검토하고 잘못된 부분을 고치는 데 필요한 시간을 더한 값입니다. 녹음, 녹취록, 기록, 채점 근거는 테스트 페이지에 있습니다.
결과
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록 1건당 기록 오류 | 포괄률 | 기록 1건당 환각 플래그 | 단어 오류율 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2분 46초 | 4.6 | 93% | 1.0 | 14.3% |
| 2 | Heidi | 3분 17초+32초 | 8.0+3.4 | 84%−9% | 0.4 | 16.9%+2.5% |
| 3 | Lyrebird | 4분 02초+1분 17초 | 12.0+7.4 | 86%−7% | 3.8+2.8 | 18.7%+4.4% |
| 4 | Freed | 4분 44초+1분 58초 | 6.6+2.0 | 89%−4% | 0.6 | 20.3%+5.9% |
| 5 | CliniScripts | 4분 58초+2분 12초 | 12.8+8.2 | 74%−18% | 1.0 | 14.9%+0.6% |
Hanah 기록은 진료 종료 후 평균 2분 46초 만에 확정할 수 있었습니다. 사실의 93%를 담았고, 기록 1건당 기록 오류 4.6건, 환각 플래그 1.0개였습니다. 검토하고 수정하는 데 걸린 시간은 직접 기록을 작성할 때보다 71% 짧았습니다.
Heidi는 평균 3분 17초였습니다. Heidi의 가장 빠른 회차(2분 41초)가 Hanah의 가장 느린 회차(2분 59초)보다 빨랐으므로, 두 제품은 시간 기준 오차 범위 이내에 있습니다. Hanah는 평균적으로 더 빨랐고, 진료 내용을 더 많이 담았으며(93% 대 84%), 기록 오류도 더 적었습니다(4.6 대 8.0). Heidi는 이 진료에서 환각 플래그가 기록 1건당 0.4개로 가장 적었습니다.
Lyrebird는 4분 2초로 3위, Freed는 4분 44초로 4위였습니다. Freed는 기록 오류가 6.6건으로 두 번째로 적었습니다.
이 진료에서 단어 오류율(WER)도 Hanah가 14.3%로 가장 낮았고, CliniScripts가 14.9%로 근소한 차이였습니다.
주요 발견
- 발진은 가슴, 손, 팔꿈치 안쪽에 있었습니다. Lyrebird는 녹취록 5건 모두에서 "elbows"(팔꿈치)를 "eyebrows"(눈썹)로 알아들었습니다.
- 환자는 얼굴에는 발진이 없다고 말했습니다. Hanah는 모든 회차에서 이를 기록했고, Heidi는 5회 중 1회, Lyrebird는 한 번도 기록하지 않았습니다.
- 환자는 발진 때문에 등산을 갈 수 없었습니다. Hanah와 Lyrebird는 모든 회차에서 이를 기록했고, Heidi는 한 번도 온전히 기록하지 못했습니다.
- 이 테스트에서 Hanah의 환각 플래그는 대부분 의사가 묻지도 않은 질문에 대한 "배변 정상" 같은 일상적인 음성 소견이었습니다.
Heidi 리뷰에서 12건의 진료 전체에 걸친 Heidi의 결과를 영상 설명과 함께 다룹니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.