결과 · 게시
심장내과 분야 최고의 AI 스크라이브
Hanah는 벤치마크의 심장 진료 두 건 모두에서 테스트한 AI 스크라이브 중 가장 우수했습니다. 두 진료 모두에서 오차 범위보다 큰 차이로 1위를 차지했습니다.
테스트
두 진료 모두 PriMock57 세트에 포함된 일반의(GP) 화상 진료입니다. 첫 번째 진료에서는 환자가 두어 시간째 이어지는 압박감 같은 흉부 불편감, 메스꺼움, 발한, 숨가쁨으로 연락하고, 의사는 심근경색 가능성을 염두에 두고 구급차를 부릅니다. 두 번째 진료에서는 심부전 진단을 받은 환자의 숨가쁨이 2주에 걸쳐 악화되었고, 의사는 혈액 검사와 심장초음파 검사를 준비합니다.
6개의 AI 스크라이브가 각 진료를 5회씩 녹음했고, 모든 기록은 진료 중 언급된 임상 사실을 기준으로 블라인드 채점되었습니다. 사실은 흉통 진료 33개, 심부전 진료 53개입니다. 스크라이브 순위는 기록 확정까지 걸린 시간으로 매기며, 이는 중지 버튼을 누른 뒤 기다리는 시간에 임상의가 기록을 검토하고 잘못된 부분을 고치는 데 필요한 시간을 더한 값입니다. 녹음, 녹취록, 기록, 채점 근거는 흉통 및 심부전 테스트 페이지에 있습니다.
흉통
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록 1건당 기록 오류 | 포괄률 | 기록 1건당 환각 플래그 | 단어 오류율 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2분 09초 | 2.2 | 98% | 0.8 | 17.2% |
| 2 | CliniScripts | 2분 58초+49초 | 5.8+3.6 | 86%−11% | 0.2 | 16.9% |
| 3 | Heidi | 3분 25초+1분 16초 | 9.4+7.2 | 77%−21% | 0.6 | 17.2% |
| 4 | Lyrebird | 3분 32초+1분 23초 | 8.8+6.6 | 84%−13% | 2.8+2.0 | 22.8%+5.6% |
Hanah 기록은 진료 종료 후 평균 2분 9초 만에 확정할 수 있었습니다. 사실의 98%를 담았고, 기록 1건당 기록 오류는 2.2건이었습니다. 검토하고 수정하는 데 걸린 시간은 직접 기록을 작성할 때보다 78% 짧았습니다. Hanah의 가장 느린 회차도 다른 모든 스크라이브의 평균보다 빨랐습니다.
CliniScripts는 2분 58초로 2위였으며, 포괄률 86%, 기록 오류 5.8건이었습니다. CliniScripts는 이 진료에서 환각 플래그가 기록 1건당 0.2개로 가장 적었고, 단어 오류율(WER)도 16.9%로 가장 낮았으며, Hanah와 Heidi는 17.2%로 같았습니다. Heidi는 3분 25초로 3위, Lyrebird는 3분 32초로 4위였습니다.
심부전
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록 1건당 기록 오류 | 포괄률 | 기록 1건당 환각 플래그 | 단어 오류율 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 4분 12초 | 9.8 | 88% | 1.2 | 16.3% |
| 2 | Heidi | 6분 20초+2분 08초 | 18.6+8.8 | 75%−12% | 2.0+0.8 | 15.3% |
| 3 | Freed | 6분 59초+2분 47초 | 15.4+5.6 | 81%−7% | 3.6+2.4 | 25.3%+9.0% |
| 4 | Lyrebird | 7분 05초+2분 53초 | 22.2+12.4 | 76%−12% | 5.2+4.0 | 25.7%+9.3% |
| 5 | CliniScripts | 7분 11초+2분 59초 | 19.6+9.8 | 73%−15% | 2.8+1.6 | 15.4% |
이 진료는 벤치마크에서 사실이 가장 많은 진료입니다. Hanah 기록은 진료 종료 후 평균 4분 12초 만에 확정할 수 있었고, 검토에 3분 46초가 걸렸습니다. 사실의 88%를 담았으며, 기록 1건당 기록 오류 9.8건, 환각 플래그 1.2개로 두 항목 모두 가장 적었습니다.
Heidi는 6분 20초로 2위, Freed는 6분 59초로 3위, Lyrebird는 7분 5초로 4위였습니다. Freed는 기록 오류가 15.4건으로 두 번째로 적었습니다. 단어 오류율은 Heidi가 15.3%로 가장 낮았고, CliniScripts 15.4%, Hanah 16.3%였습니다. 임상적 의미를 바꾸는 잘못 들은 단어는 Hanah와 CliniScripts가 회차당 1.2개로 같았습니다.
주요 발견
- 흉통 진료에서 환자는 아스피린 외에는 알레르기가 없다고 말했습니다. Hanah는 모든 회차에서 이를 기록했고, 다른 모든 스크라이브는 모든 회차에서 이를 누락했습니다.
- 환자는 아스피린을 먹으면 몸이 붓는다고 말했습니다. Heidi와 Lyrebird는 5회 모두 "swell up"(붓다)을 "swallow"(삼키다)로 전사했습니다. Hanah와 CliniScripts는 매번 정확히 알아들었습니다.
- 심부전 진료에서 환자는 푸로세미드(furosemide)를 하루 한 알 복용하지만 용량은 모릅니다. Hanah는 모든 회차에서 이를 기록했고, 다른 스크라이브는 어느 회차에서도 이를 온전히 기록하지 못했습니다.
- Heidi는 심부전 진료 5회 모두에서 furosemide를 "fruit"로 전사했습니다. Lyrebird는 5회 중 4회에서 bisoprolol을 "omeprazole"로 알아들었습니다.
Heidi 리뷰에서 12건의 진료 전체에 걸친 Heidi의 결과를 영상 설명과 함께 다룹니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.