תוצאות · פורסם
Hanah הוא עוזר התיעוד הרפואי מבוסס הבינה המלאכותית הטוב ביותר במבחן ההשוואה שלנו
הקלטנו את אותם 12 ביקורים עם שישה עוזרי תיעוד מבוססי בינה מלאכותית, והערכנו כל רשומה באופן עיוור מול אותה רשימת עובדות קליניות. Hanah דורג ראשון ב-18 מתוך 19 המדדים שאנו מפרסמים, כולל כל מדדי איכות הרשומה וכל מדדי הזמן של הקלינאי. ההקלטות, התמלולים, הרשומות ונימוקי ההערכה של כל ביקור מופיעים בדף המבחן שלו, וניתן להוריד אותם.
שגיאות ברשומה
שגיאה ברשומה היא עובדה רלוונטית שהרשומה החמיצה או תיעדה באופן חלקי בלבד, או טענה שהביקור אינו תומך בה. אנו סופרים אותן כפי ש-Weiner ואחרים (2020) ספרו שגיאות ברשומות של רופאים. בממוצע על פני חמש הרצות לפחות של כל 12 הביקורים, בכל רשומה של Hanah נמצאו 4.1 שגיאות. הממוצע של Freed היה 8.3, של Heidi 9.0, של CliniScripts 9.7, של Lyrebird 11.6 ושל PatientNotes 18.0.
Hanah תיעד 93% מהעובדות הרלוונטיות, לעומת 87% אצל Freed, 82% אצל Lyrebird, 81% אצל Heidi, 80% אצל CliniScripts ו-61% אצל PatientNotes. היו לו גם הכי מעט סימוני הזיה, 0.80 לכל רשומה, ו-Heidi אחריו בפער קטן עם 1.00.
Weiner ואחרים מצאו 5.0 שגיאות לרשומה ברשומות שכתבו הרופאים עצמם, כשאלה נבדקו מול הקלטות של הביקור. המבחן שלנו סופר בצורה מחמירה יותר משלהם, ו-Hanah היה עוזר התיעוד היחיד שנמצא מתחת לנתון זה.
זמן הבדיקה והאישור הסופי
אנו מעריכים כמה זמן נדרש לקלינאי כדי לקרוא כל רשומה ולתקן את מה ששגוי בה. בדיקת רשומה של Hanah ארכה 2 דקות ו-2 שניות, לעומת 2 דקות ו-58 שניות אצל Heidi, 3 דקות ו-43 שניות אצל Lyrebird, 3 דקות ו-50 שניות אצל CliniScripts, 4 דקות ו-5 שניות אצל Freed ו-5 דקות ו-11 שניות אצל PatientNotes. כתיבת הרשומה באופן עצמאי אורכת חציון של 8.1 דקות (Apathy ואחרים 2023), ולפיכך בדיקה ותיקון של רשומה של Hanah מהירים ב-75% מכתיבתה ידנית. Heidi היה מהיר ב-63%, Lyrebird ב-54%, CliniScripts ב-53%, Freed ב-50% ו-PatientNotes ב-36%.
כולל ההמתנה לאחר הלחיצה על עצירה, רשומה של Hanah הייתה מוכנה לאישור סופי 2 דקות ו-23 שניות לאחר סיום הביקור. אצל Heidi זה ארך 3 דקות ו-25 שניות, אצל CliniScripts 4 דקות ו-3 שניות, אצל Lyrebird 4 דקות ו-6 שניות, אצל Freed 4 דקות ו-40 שניות ואצל PatientNotes 5 דקות ו-39 שניות.
בדיקת הרשומה האיטית ביותר של Hanah, בכל אחת מההרצות, ארכה 4 דקות ו-15 שניות. לכל אחד מעוזרי התיעוד האחרים הייתה לפחות רשומה אחת שבדיקתה ארכה יותר משבע דקות וחצי, ובדיקת הרשומה האיטית ביותר של CliniScripts ארכה 10 דקות ו-47 שניות.
תמלול, מהירות ונתונים
ל-Hanah היה שיעור שגיאות המילים (WER) הנמוך ביותר, 12.8%, ואחריו CliniScripts עם 13.0% ו-Heidi עם 13.6%. במדד המילים שנשמעו שגוי ומשנות את המשמעות הקלינית, הממוצע של Hanah היה 8.6 בכל הרצה של 12 הביקורים, של CliniScripts 9.0, ושל שאר עוזרי התיעוד בין 21 ל-36.
Hanah הפיק את הרשומה שלו בחציון של 19 שניות לאחר העצירה, והשתמש ב-9.1 MB של נתונים לכל ביקור. שאר עוזרי התיעוד נזקקו ל-21 עד 49 שניות והשתמשו ב-17 עד 45 MB.
צריכת זיכרון ורשומות ללא עריכה
במבחן עומס בן 50 דקות, שבו כל עוזרי התיעוד הקליטו בו-זמנית על מחשב אחד, CliniScripts צרך בממוצע 972 MB של זיכרון, לעומת 1,103 MB של Hanah. זהו המדד היחיד שבו Hanah לא הוביל. ניצול המעבד (CPU) של Hanah עמד על 28.6%, שקול לזה של CliniScripts, 28.8%.
ל-Hanah היה השיעור הגבוה ביותר של רשומות מוכנות לאישור כפי שנכתבו, 8%, כלומר רשומות שבהן כל עובדה תועדה במלואה ואין בהן סימוני הזיה. נתון זה נמוך מ-10% הרשומות של רופאים ש-Weiner ואחרים מצאו נקיות משגיאות, וכל רשומה של כל אחד מעוזרי התיעוד עדיין טעונה בדיקה של קלינאי לפני האישור הסופי שלה.
הנתונים במאמר זה לקוחים ממבחן ההשוואה של ScribeStandard. ראו את התוצאות המלאות, את כל מבחן ואת אופן הבדיקה שלנו.