결과 · 게시
정신건강 분야 최고의 AI 스크라이브
Hanah는 기분 저하 진료에서 저희가 테스트한 AI 스크라이브 중 가장 우수했습니다. Heidi와 Lyrebird가 근소한 차이로 뒤를 이었으며, 세 스크라이브 모두 기록 확정까지 걸린 시간은 오차 범위 이내입니다. 평균적으로 Hanah가 가장 빨랐고 기록 오류도 가장 적었습니다.
테스트
이 진료는 PriMock57 세트에 포함된 일반의(GP) 화상 진료입니다. 환자는 새 직장에 다니기 시작한 뒤 두 달 동안 기력 저하, 수면 부족, 식욕 감퇴를 겪고 있으며 자살 가족력이 있습니다. 6개의 AI 스크라이브가 이 진료를 각각 5회씩 녹음했고, 모든 기록은 진료 중 언급된 26개의 임상 사실을 기준으로 블라인드 방식으로 채점되었습니다. 스크라이브 순위는 기록 확정까지 걸린 시간으로 매깁니다. 이는 중지 버튼을 누른 뒤의 대기 시간에 임상의가 기록을 검토하고 잘못된 부분을 수정하는 데 필요한 시간을 더한 값입니다. 녹음, 녹취록, 기록, 채점 근거는 테스트 페이지에서 확인할 수 있습니다.
결과
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록당 기록 오류 | 포괄률 | 기록당 환각 플래그 | 단어 오류율 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2분 26초 | 4.2 | 92% | 1.4 | 13.7% |
| 2 | Heidi | 2분 45초+19초 | 6.8+2.6 | 80%−12% | 0.8 | 13.2% |
| 3 | Lyrebird | 3분 02초+36초 | 8.0+3.8 | 84%−8% | 2.8+1.4 | 17.8%+4.1% |
| 4 | CliniScripts | 4분 40초+2분 15초 | 13.2+9.0 | 65%−27% | 3.2+1.8 | 13.3% |
Hanah 기록은 진료가 끝난 뒤 평균 2분 26초 만에 확정할 수 있는 상태가 되었습니다. 사실의 92%를 포착했으며, 기록당 기록 오류는 4.2건이었습니다. 기록을 검토하고 수정하는 데 걸린 시간은 기록을 직접 작성하는 것보다 77% 짧았습니다.
Heidi는 평균 2분 45초, Lyrebird는 3분 2초였습니다. Hanah의 가장 느린 회차는 2분 52초였던 반면 Heidi의 가장 빠른 회차는 2분 27초, Lyrebird의 가장 빠른 회차는 2분 26초였기 때문에, 저희는 세 스크라이브를 근소한 차이로 봅니다. 기록당 기록 오류는 Heidi가 6.8건, Lyrebird가 8.0건이었습니다. 환각 플래그는 Heidi가 기록당 0.8건으로 가장 적었고, Hanah는 1.4건이었습니다.
이 진료에서 단어 오류율도 Heidi가 13.2%로 가장 낮았으며, CliniScripts가 13.3%, Hanah가 13.7%였습니다. Lyrebird는 중지 버튼을 누른 뒤 기록을 가장 빨리 생성했지만, 검토 시간이 더 길어 종합 3위가 되었습니다.
주요 발견
- 환자는 이전에 정신건강 관련 진단을 받은 적이 없다고 말했습니다. 6개 스크라이브가 작성한 30건의 기록 중 이를 온전히 기록한 것은 한 건도 없었습니다.
- 환자는 우울증을 포함해 다른 내과적·정신과적 질환의 가족력은 없다고 말했습니다. Hanah는 모든 회차에서 이를 기록했고, Heidi는 5회 중 2회, Lyrebird는 1회 기록했으며, CliniScripts는 한 번도 기록하지 않았습니다.
- 몇 차례 문답이 오간 끝에 환자는 아침 발기에 변화가 없다고 말했습니다. Hanah는 모든 회차에서 이를 정확히 기록했습니다. Heidi와 Lyrebird는 5회 중 3회 정확히 기록했습니다.
Heidi 리뷰에서는 12건의 진료 전체에서 Heidi가 보인 결과를 영상 해설과 함께 다룹니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.