Heidi 리뷰: 12건의 진료로 테스트한 AI 스크라이브

영상 스크립트

Heidi - 실제 리뷰의 전체 내레이션입니다. 각 타임스탬프를 누르면 해당 챕터부터 영상이 열립니다.

0:00 소개

대부분의 AI 스크라이브 리뷰는 화면에서 멈춥니다. 인터페이스, 템플릿, 기록이 얼마나 깔끔해 보이는지까지입니다. 기록의 품질과 녹취록의 정확도를 깊이 들여다보는 리뷰는 거의 없습니다. Heidi는 가장 잘 알려진 AI 스크라이브 중 하나이며, 저희는 기술 리뷰를 해 보기로 했습니다. 무엇을 들었고, 무엇을 썼고, 무엇을 놓쳤으며, 임상의가 이를 고치는 데 얼마나 걸리는지 살펴봅니다. 그런 다음 다른 인기 스크라이브 5종과 비교했습니다.

0:24 테스트 방법

모든 스크라이브가 같은 진료 12건을 각각 다섯 번씩 들었습니다. 블라인드 AI 평가자가 진료에서 말한 모든 임상 사실의 목록을 기준으로 각 기록을 채점했습니다. 의사가 작성한 기록의 수치는 발표된 연구에서 가져왔습니다. 저희 테스트가 그 연구보다 엄격하므로, 이 비교는 의사에게 유리합니다.

0:40 속도

Heidi의 가장 큰 강점은 속도입니다. 중지 버튼을 누른 뒤 검토를 포함해 기록을 확정하기까지 평균 3분 25초가 걸렸습니다. 기록을 손으로 직접 작성하는 데는 중앙값 기준 8분이 조금 넘게 걸리므로, Heidi는 기록당 약 5분을 절약합니다.

0:54 검토 작업량

Heidi 기록을 검토하고 수정하는 데는 3분이 조금 안 걸렸습니다. 편집 작업량은 기록을 처음부터 작성하는 것의 약 22%였습니다. 두 항목 모두 6개 중 2위였습니다.

1:03 환각

Heidi는 지어낸 내용도 매우 적었습니다. 기록당 환각 플래그는 평균 1개로, Hanah의 0.8에 근소하게 뒤졌고 CliniScripts의 1.4보다는 크게 앞섰습니다. 이는 의사가 작성한 기록에서 보고된 1.7보다 낮으며, Heidi는 진료 12건 중 5건에서 플래그가 가장 적었거나 공동으로 가장 적었습니다.

1:22 녹취

단어 오류율은 13.6%로 CliniScripts와 Hanah에 근소하게 뒤졌고, Lyrebird, PatientNotes, Freed보다는 크게 앞섰습니다. 그러나 임상적으로 유의한 녹취록 오류는 다른 이야기를 보여 줍니다. 전체 회차당 약 21개로 Hanah와 CliniScripts의 두 배가 넘었고, Freed보다 간신히 적었을 뿐입니다.

1:40 맥락 속 녹취 오류

이러한 오류는 기록에까지 이어질 때 가장 중요합니다. 심부전 진료에서 의사가 메토프롤롤(metoprolol)에 대해 물었고, 환자는 비소프롤롤(bisoprolol)이라고 정정했습니다. Heidi는 다섯 개 기록 중 네 개에서 잘못된 베타 차단제인 메토프롤롤을 기재했습니다. Lyrebird와 PatientNotes도 같은 실수를 했습니다. Hanah, Freed, CliniScripts는 그렇지 않았습니다.

모든 실수가 그대로 이어지지는 않았습니다. Heidi의 녹취록은 푸로세미드(furosemide)를 매번 “fruit”로 바꿔 적었지만, 모든 기록에는 여전히 푸로세미드가 적혀 있었습니다. 그러나 알레르기 반응 진료에서는 다섯 개 녹취록 모두에서 “dizzy”(어지러움)가 “busy”(바쁨)로 바뀌었고, Heidi의 기록 어디에도 어지러움이 기록되지 않았습니다. CliniScripts는 다섯 번 중 네 번 이를 잡아냈습니다.

2:16 완성도

가장 큰 약점은 완성도입니다. Heidi의 기록은 임상 사실의 약 81%를 담아, 대략 다섯 개 중 하나를 놓쳤습니다. Lyrebird에 근소하게 뒤지고 CliniScripts보다 근소하게 앞서지만, Freed와 Hanah에는 크게 못 미쳤으며, Heidi가 포괄률에서 1위를 한 진료는 하나도 없었습니다.

2:31 기록 오류

누락된 사실과 환각을 합치면 Heidi는 기록당 평균 약 9개의 오류를 보여, Freed에 근소하게 뒤지고 CliniScripts보다 앞섰습니다. 의사가 작성한 기록을 다룬 발표 연구에서는 5개였습니다. Heidi의 회차별 결과는 약 7.5개에서 10개까지 차이가 났고, 수정 없이 확정할 수 있는 기록은 하나도 없었습니다.

2:50 의무기록에 남는 오류

Biro 등이 2025년에 보고한 것처럼 검토 단계에서 이 오류의 70%가 수정되지 않는다면, Heidi 기록 100건당 약 630개의 오류가 의무기록에 남게 됩니다. 의사가 작성한 기록은 500개입니다.

3:02 최고와 최악의 사례

결과는 진료 분야에 따라 달랐습니다. Heidi의 최고 사례는 정신건강 분야의 우울감 진료였습니다. 모든 스크라이브 중 환각 플래그가 가장 적었고, 단어 오류율은 CliniScripts를 근소하게 앞서 가장 낮았으며, 기록 오류는 두 번째로 적었습니다. TIA 의심 진료에서도 플래그가 가장 적었습니다.

가장 약한 분야는 심장학이었습니다. 흉통 진료에서는 기록 오류와 포괄률 모두 6개 중 5위로, PatientNotes만 앞섰습니다. 그리고 단어 오류율이 모든 스크라이브 중 가장 낮았던 심부전 진료에서 잘못된 베타 차단제가 등장했습니다.

3:35 자원 사용

Heidi는 저희가 테스트한 스크라이브 중 가장 무겁기도 했습니다. 진료당 약 45 MB의 데이터를 사용해 모든 진료에서 가장 많았고, 50분 진료에서는 약 145 MB를 사용했습니다. 스트레스 테스트에서는 평균 메모리 사용량이 약 1.9 GB로 가장 많아 Lyrebird보다 조금 많았습니다. 연결이 약하거나 오래된 컴퓨터에서는 이 점이 중요합니다.

3:56 Heidi의 순위

그렇다면 Heidi는 전체에서 어디에 위치합니까? 속도, 검토 시간, 편집 작업량, 환각에서 2위였습니다. 녹취와 기록 오류에서는 3위, 포괄률에서는 4위, 데이터와 메모리 사용량에서는 최하위였습니다.

4:08 Heidi 대 Hanah

벤치마크 1위인 Hanah와 비교하면 격차는 분명합니다. Hanah는 저희가 추적하는 모든 측정 항목에서 앞섰습니다. 가장 근접한 항목은 단어 오류율과 환각 플래그였습니다. 가장 큰 격차는 포괄률로 93% 대 81%였고, Hanah의 기록당 오류는 절반에도 미치지 않았습니다. Hanah는 또한 약 5분의 1의 데이터만 사용하면서 기록을 약 1분 더 빨리 확정했습니다.

4:28 Heidi 대 나머지

나머지 네 스크라이브와 비교하면, Heidi는 그 어느 것보다도 빨리 기록을 확정했습니다. Freed는 더 많은 사실을 담고 기록당 오류도 약간 적었지만, 1분 넘게 더 걸렸습니다. CliniScripts는 단어 오류율에서 Heidi를 근소하게 앞섰고 유의한 녹취록 오류도 훨씬 적었지만, 기록에는 더 많은 오류를 남겼습니다. Lyrebird와 PatientNotes는 속도와 기록 오류 모두에서 Heidi에 뒤졌습니다.

4:50 결론

Heidi는 빠르고, 세부 사항을 지어내는 일이 드물며, 기록을 손으로 직접 작성하는 것보다 약 5분 빨랐습니다. 약점은 완성도, 기록에까지 이어질 수 있는 녹취 실수, 그리고 저희가 측정한 것 중 가장 많은 데이터와 메모리 사용량입니다. 속도와 환각에서는 6개 중 2위, 기록 오류에서는 3위로, Freed에 근소하게 뒤지고 CliniScripts, Lyrebird, PatientNotes보다 앞섭니다. 저희가 테스트한 모든 스크라이브와 마찬가지로, 기록을 확정하기 전에는 여전히 꼼꼼한 검토가 필요합니다.

5:18 추가 테스트

앞으로 더 많은 사례와 스크라이브, 그리고 제품별 심층 분석을 추가할 예정입니다. 최신 소식을 받아 보시려면 구독해 주시고, 영상이 도움이 되셨다면 좋아요를 눌러 주십시오.

5:26 전체 결과

Heidi의 진료별 결과는 ScribeStandard.com에서 확인하십시오.