결과 · 게시
소화기내과 분야 최고의 AI 스크라이브
Hanah는 위장염 진료에서 테스트한 AI 스크라이브 중 가장 우수했습니다. Heidi가 오차 범위 이내의 근소한 차이로 2위였고, Lyrebird가 3위였습니다.
테스트
이 진료는 PriMock57 세트에 포함된 일반의(GP) 화상 진료입니다. 가족 중 앓는 사람이 있었던 뒤로 환자는 3일째 경련성 하복부 통증을 동반한 수양성 설사를 겪고 있습니다. 6개의 AI 스크라이브가 이 진료를 각각 5회씩 녹음했고, 모든 기록은 진료 중 언급된 임상 사실 45개를 기준으로 블라인드 채점되었습니다. 스크라이브 순위는 기록 확정까지 걸린 시간으로 매기며, 이는 중지 버튼을 누른 뒤 기다리는 시간에 임상의가 기록을 검토하고 잘못된 부분을 고치는 데 필요한 시간을 더한 값입니다. 녹음, 녹취록, 기록, 채점 근거는 테스트 페이지에 있습니다.
결과
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록 1건당 기록 오류 | 포괄률 | 기록 1건당 환각 플래그 | 단어 오류율 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2분 16초 | 2.8 | 96% | 0.2 | 15.2% |
| 2 | Heidi | 3분 19초+1분 03초 | 9.6+6.8 | 83%−12% | 1.6+1.4 | 16.0%+0.8% |
| 3 | Lyrebird | 3분 51초+1분 36초 | 11.6+8.8 | 83%−12% | 3.4+3.2 | 20.0%+4.9% |
| 4 | Freed | 4분 17초+2분 01초 | 6.0+3.2 | 91%−5% | 0.8+0.6 | 21.4%+6.3% |
Hanah 기록은 진료 종료 후 평균 2분 16초 만에 확정할 수 있었습니다. 사실의 96%를 담았고, 기록 1건당 기록 오류 2.8건, 환각 플래그 0.2개였습니다. 검토하고 수정하는 데 걸린 시간은 직접 기록을 작성할 때보다 77% 짧았습니다.
Heidi는 평균 3분 19초였습니다. Heidi의 가장 빠른 회차(2분 9초)가 Hanah의 가장 느린 회차(2분 30초)보다 빨랐으므로, 두 제품은 시간 기준 오차 범위 이내에 있습니다. Hanah는 평균적으로 더 빨랐고, 기록 오류는 Heidi의 3분의 1도 되지 않았습니다(2.8 대 9.6).
Lyrebird는 3분 51초로 3위, Freed는 4분 17초로 4위였습니다. Freed는 기록 오류가 6.0건으로 두 번째로 적었고 포괄률이 91%로 두 번째로 높았지만, 기록을 생성하는 데 더 오래 걸렸습니다.
이 진료에서 단어 오류율(WER)도 Hanah가 15.2%로 가장 낮았고, Heidi는 16.0%였습니다.
주요 발견
- 의사는 Dioralyte 수분 보충 분말을 권했습니다. Hanah는 녹취록 5건 모두에서 Dioralyte의 철자를 정확히 적었고, 다른 모든 스크라이브는 모든 회차에서 틀렸습니다.
- 환자는 설사 때문에 "makes me feel weak"(기운이 없다)고 말했습니다. Lyrebird는 5회 모두 이를 "fainted for a week"(일주일 동안 기절했다)로 전사했지만, 이 오류가 기록에까지 이어지지는 않았습니다.
- 의사는 파라세타몰을 "한 번에 두 알, 하루 최대 네 번" 복용하도록 권했지만 함량은 말하지 않았습니다. Heidi와 Lyrebird는 둘 다 일부 기록에 밀리그램 단위 용량을 적었고, 이는 환각 플래그로 집계됩니다.
- 의사는 항생제가 필요하지 않다고 말했습니다. Hanah와 Lyrebird는 5회 중 4회에서 이를 기록했고, Heidi는 5회 모두 누락했습니다.
Heidi 리뷰에서 12건의 진료 전체에 걸친 Heidi의 결과를 영상 설명과 함께 다룹니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.