결과 · 게시
일반의(GP)를 위한 최고의 AI 스크라이브
Hanah는 일반의(GP) 진료에서 테스트한 AI 스크라이브 중 가장 우수했습니다. 여섯 건의 진료 모두에서 기록 확정까지 걸린 시간 1위를 차지했고, 각 진료에서 기록 오류도 가장 적었습니다. Heidi가 2위, Lyrebird가 3위였습니다.
테스트
진료는 모의 1차 의료 진료로 구성된 공개 데이터셋인 PriMock57의 일반의(GP) 화상 진료입니다. 6개의 AI 스크라이브가 각 진료를 자체 웹 앱으로 5회씩 녹음했고, 모든 기록은 진료 중 언급된 임상 사실을 기준으로 블라인드 채점되었습니다. 스크라이브 순위는 기록 확정까지 걸린 시간으로 매기며, 이는 중지 버튼을 누른 뒤 기다리는 시간에 임상의가 기록을 검토하고 잘못된 부분을 고치는 데 필요한 시간을 더한 값입니다.
벤치마크에는 PriMock57 진료 여덟 건이 있습니다. 이 순위는 모든 스크라이브의 기록이 공개된 여섯 건, 즉 위장염, 습진, 흉통, 알레르기 반응, 기분 저하, 배뇨 증상을 다룹니다. 심부전 및 일과성 허혈 발작(TIA) 의심 진료에 대한 Hanah의 기록은 아직 공개 결과에 포함되지 않았으며, 이 두 건은 모든 스크라이브의 평균에서 제외됩니다. Hanah의 공개 기록은 2026년 10월 11일에 다시 생성되었으며, 중지 버튼을 누른 뒤의 대기 시간은 측정된 생성 시간을 바탕으로 한 추정치입니다.
결과
| 순위 | 스크라이브 | 기록 확정까지 걸린 시간 | 기록 1건당 기록 오류 | 포괄률 | 기록 1건당 환각 플래그 | 단어 오류율 |
|---|---|---|---|---|---|---|
| 1 | Hanah | 1분 50초 | 1.5 | 98% | 0.4 | 14.0% |
| 2 | Heidi | 3분 31초+1분 41초 | 9.9+8.4 | 79%−19% | 1.3+0.9 | 14.6%+0.6% |
| 3 | Lyrebird | 3분 56초+2분 06초 | 11.2+9.7 | 83%−15% | 3.7+3.4 | 17.5%+3.5% |
| 4 | CliniScripts | 4분 24초+2분 34초 | 11.6+10.1 | 75%−23% | 1.5+1.1 | 14.8%+0.8% |
| 5 | Freed | 4분 51초+3분 01초 | 8.5+7.0 | 87%−11% | 2.5+2.1 | 19.5%+5.5% |
| 6 | PatientNotes | 5분 56초+4분 06초 | 19.6+18.2 | 58%−40% | 2.9+2.5 | 19.6%+5.6% |
Hanah 기록은 여섯 건의 진료 평균으로 진료 종료 후 1분 50초 만에 확정할 수 있었습니다. 사실의 98%를 담았고, 기록 1건당 기록 오류 1.5건, 환각 플래그 0.4개였습니다. 검토하고 수정하는 데 걸린 시간은 직접 기록을 작성할 때보다 79% 짧았으며, Hanah 기록의 30%는 작성된 그대로 확정할 수 있었습니다. 여섯 건의 진료 중 Hanah의 가장 느린 회차는 2분 46초로, 다른 모든 스크라이브의 평균보다 빨랐습니다.
Heidi는 3분 31초로 2위였으며, 기록 1건당 기록 오류 9.9건, 포괄률 79%였고, 환각 플래그는 기록 1건당 1.3개로 두 번째로 적었습니다. Lyrebird는 3분 56초로 3위였습니다. Freed는 기록 오류가 8.5건으로 두 번째로 적었고 포괄률이 87%로 두 번째로 높았으며, 기록 확정까지 4분 51초가 걸렸습니다.
단어 오류율은 Hanah가 14.0%로 가장 낮았고, Heidi 14.6%, CliniScripts 14.8%였습니다.
진료별 결과
| 진료 | 1위 | 2위 | 글 |
|---|---|---|---|
| 위장염 | Hanah, 1분 44초 | Heidi, 3분 19초 | 읽기 |
| 습진 | Hanah, 2분 01초 | Heidi, 3분 17초 | 읽기 |
| 흉통 | Hanah, 1분 31초 | CliniScripts, 2분 58초 | 읽기 |
| 알레르기 반응 | Hanah, 2분 21초 | Heidi, 4분 44초 | 읽기 |
| 기분 저하 | Hanah, 1분 37초 | Heidi, 2분 45초 | 읽기 |
| 배뇨 증상 | Hanah, 1분 46초 | Lyrebird, 3분 34초 | 읽기 |
시간은 해당 진료에서 각 스크라이브의 평균 기록 확정까지 걸린 시간입니다.
주요 발견
- 흉통 진료에서 환자는 아스피린 외에는 알레르기가 없다고 말했습니다. Hanah는 모든 회차에서 이를 기록했고, 다른 모든 스크라이브는 모든 회차에서 이를 누락했습니다.
- 같은 환자는 아스피린을 먹으면 몸이 붓는다고 말했습니다. Heidi, Freed, Lyrebird는 5회 모두 "swell up"(붓다)을 "swallow"(삼키다)로 전사했습니다. Hanah와 CliniScripts는 매번 정확히 알아들었습니다.
- 위장염 진료에서 의사는 항생제가 필요하지 않다고 말했습니다. Hanah는 모든 회차에서 이를 기록했고, Lyrebird는 5회 중 4회 기록했습니다. Heidi, Freed, PatientNotes는 모든 회차에서 이를 누락했습니다.
- 기분 저하 진료에서 환자는 이전에 정신건강 관련 진단을 받은 적이 없다고 말했습니다. Hanah는 모든 회차에서 이를 기록했고, 다른 스크라이브는 어느 회차에서도 이를 온전히 기록하지 못했습니다.
- 배뇨 증상 진료에서 의사는 소변 검사 없이도 감염을 치료할 수 있다고 말했습니다. Hanah는 모든 회차에서 이를 기록했고, 다른 스크라이브는 어느 회차에서도 이를 기록하지 못했습니다.
- Heidi는 심부전 진료 5회 모두에서 furosemide를 "fruit"로 전사했습니다. Lyrebird의 녹취록은 5회 모두 아무도 말하지 않은 omeprazole을 언급했고, 모든 회차에서 bisoprolol을 누락했습니다.
Heidi 리뷰에서 12건의 진료 전체에 걸친 Heidi의 결과를 영상 설명과 함께 다룹니다.
자주 묻는 질문
일반의(GP)를 위한 최고의 AI 스크라이브는 무엇인가요?
녹음된 일반의(GP) 진료 여섯 건으로 AI 스크라이브 6개를 테스트한 결과, Hanah가 가장 우수했습니다. Hanah의 기록은 진료 종료 후 평균 1분 50초로 가장 빨리 확정할 수 있었고, 모든 진료에서 기록 오류가 가장 적었습니다. Heidi가 2위, Lyrebird가 3위였습니다.
일반의(GP) 진료에서 AI 스크라이브는 얼마나 정확한가요?
일반의(GP) 진료 여섯 건에서 스크라이브들은 언급된 임상 사실의 58%에서 98%를 담았습니다. 누락된 사실과 근거 없는 내용을 합산한 기록 오류는 Hanah의 기록 1건당 1.5건부터 PatientNotes의 19.6건까지였습니다. 모든 기록은 확정 전에 여전히 임상의의 검토가 필요합니다.
AI 스크라이브는 일반의(GP) 기록에 없는 내용을 지어내나요?
테스트한 모든 스크라이브가 진료 중 언급되지 않은 세부 내용을 기록에 일부 추가했습니다. 저희는 이를 환각 플래그로 집계합니다. Hanah가 기록 1건당 0.4개로 가장 적었고, Lyrebird가 3.7개로 가장 많았습니다.
AI 스크라이브는 일반의(GP)의 시간을 얼마나 절약해 주나요?
의사가 기록을 직접 작성하는 데는 중앙값 8.1분이 걸립니다(Apathy 등 2023). Hanah 기록을 검토하고 수정하는 데 걸린 시간은 이보다 79% 짧았습니다. 다른 스크라이브는 34%에서 62%를 절약했습니다.
AI 스크라이브는 어떻게 테스트되었나요?
각 스크라이브는 PriMock57 데이터셋의 동일한 일반의(GP) 진료를 자체 웹 앱으로 5회씩 녹음했습니다. 모든 기록은 진료 중 언급된 임상 사실 목록을 기준으로 블라인드 채점되었습니다. 녹음, 녹취록, 기록, 채점 근거는 각 테스트 페이지에 공개되어 있습니다.
이 아티클의 수치는 ScribeStandard 벤치마크에서 가져왔습니다. 전체 결과, 테스트별 결과, 평가 방법을 참고하십시오.