תוצאות · פורסם
עוזר התיעוד הרפואי מבוסס הבינה המלאכותית הטוב ביותר לנוירולוגיה
Hanah היה עוזר התיעוד מבוסס הבינה המלאכותית הטוב ביותר שבדקנו בביקור בחשד לאירוע איסכמי חולף (TIA). Heidi הגיע למקום השני, בתוך טווח הטעות מבחינת הזמן, ו-Lyrebird למקום השלישי.
המבחן
הביקור הוא פגישת וידאו אצל רופא משפחה מתוך מאגר PriMock57: מטופל עם אירועים של עקצוצים ונימול בכף היד הימנית, וחולשה בזרוע וברגל הימניות, שמופיעים וחולפים לאורך כמה ימים. שישה עוזרי תיעוד מבוססי בינה מלאכותית הקליטו אותו חמש פעמים כל אחד, וכל רשומה הוערכה באופן עיוור מול 46 העובדות הקליניות שנאמרו בביקור. אנו מדרגים את עוזרי התיעוד לפי הזמן עד רשומה סופית: ההמתנה לאחר הלחיצה על עצירה, ועוד הזמן שקלינאי צריך כדי לבדוק את הרשומה ולתקן את מה ששגוי בה. ההקלטה, התמלולים, הרשומות ונימוקי ההערכה מופיעים בדף המבחן.
תוצאות
| דירוג | עוזר התיעוד | הזמן עד רשומה סופית | שגיאות ברשומה (לכל רשומה) | כיסוי | סימוני הזיה (לכל רשומה) | שיעור שגיאות מילים |
|---|---|---|---|---|---|---|
| 1 | Hanah | 3 דק׳ 41 שנ׳ | 5.4 | 94% | 0.8 | 9.1% |
| 2 | Heidi | 5 דק׳ 07 שנ׳+1 דק׳ 27 שנ׳ | 11.8+6.4 | 79%−15% | 0.4 | 10.8%+1.7% |
| 3 | Lyrebird | 6 דק׳ 09 שנ׳+2 דק׳ 28 שנ׳ | 14.6+9.2 | 82%−12% | 3.6+2.8 | 15.1%+6.0% |
| 4 | CliniScripts | 6 דק׳ 12 שנ׳+2 דק׳ 32 שנ׳ | 12.2+6.8 | 80%−14% | 1.4+0.6 | 8.7% |
רשומה של Hanah הייתה מוכנה לאישור סופי בממוצע 3 דקות ו-41 שניות לאחר סיום הביקור. היא תיעדה 94% מהעובדות, עם 5.4 שגיאות ברשומה לכל רשומה. בדיקתה ותיקונה ארכו 62% פחות זמן מכתיבת הרשומה באופן עצמאי.
הממוצע של Heidi היה 5 דקות ו-7 שניות. ההרצה המהירה ביותר שלו, 3 דקות ו-50 שניות, הייתה מהירה מההרצה האיטית ביותר של Hanah, 3 דקות ו-51 שניות, ולכן השניים נמצאים בתוך טווח הטעות מבחינת הזמן. Hanah היה מהיר יותר בממוצע, ומספר השגיאות ברשומות שלו היה פחות ממחצית מזה של Heidi: 5.4 לעומת 11.8. ל-Heidi היו הכי מעט סימוני הזיה, 0.4 לכל רשומה, ול-Hanah 0.8.
Lyrebird הגיע למקום השלישי עם 6 דקות ו-9 שניות ו-CliniScripts למקום הרביעי עם 6 דקות ו-12 שניות. ל-CliniScripts היה שיעור שגיאות המילים הנמוך ביותר בביקור זה, 8.7%, ול-Hanah 9.1%.
ממצאים
- הווידאו נותק במהלך השיחה, הרופא לא יכול היה לראות את המטופל, ולא בוצעה בדיקה גופנית. Hanah תיעד זאת בכל הרצה, ו-Heidi אף פעם לא תיעד זאת במלואו.
- המטופל התחיל ליטול אספירין על דעת עצמו לאחר שקרא על כך ברשת. Hanah תיעד זאת בכל הרצה, ו-Lyrebird תיעד זאת באופן חלקי בלבד בכל הרצה.
- המטופל אמר שמלבד זאת הוא בריא ובכושר טוב. Hanah תיעד זאת בכל הרצה, ואילו Heidi ו-CliniScripts החמיצו זאת בכל הרצה.
- Lyrebird שמע "asthma" (אסתמה) כ-"acne" (אקנה) בארבעה מתוך חמישה תמלולים.
הסקירה שלנו על Heidi מציגה את ביצועי Heidi בכל 12 הביקורים, כולל סרטון הסבר.
הנתונים במאמר זה לקוחים ממבחן ההשוואה של ScribeStandard. ראו את התוצאות המלאות, את כל מבחן ואת אופן הבדיקה שלנו.