תוצאות · פורסם
עוזר התיעוד הרפואי הטוב ביותר להינדי
Hanah היה עוזר התיעוד הרפואי מבוסס הבינה המלאכותית הטוב ביותר שבדקנו בביקור שנערך כולו בהינדי. CliniScripts דורג שני ו-Heidi שלישי. CliniScripts ו-Hanah היו בתוך מרווח הטעות זה מזה בדיוק הרשומה, ו-Hanah הוביל בזמן ובתמלול.
המבחן
הביקור הוא ביקור קצר במרפאה בהינדי: שבועיים של עייפות, כאבי ראש שמחמירים בערב, סחרחורת מדי פעם ושינה גרועה בשל לחץ בעבודה, עם הפניה לבדיקת דם ועצות לגבי ארוחות, שתיית מים ושינה. שישה עוזרי תיעוד הקליטו אותו חמש פעמים כל אחד, כל אחד מוגדר להינדי במקרים שבהם המוצר מבקש לבחור שפה, וכל רשומה דורגה באופן עיוור מול 17 העובדות הקליניות שנאמרו בביקור. הרשומות יכלו להיכתב באנגלית או בהינדי. אנו מדרגים את עוזרי התיעוד לפי הזמן עד רשומה סופית, כלומר ההמתנה לאחר לחיצה על עצירה ועוד הזמן שהקלינאי צריך כדי לבדוק את הרשומה ולתקן את מה שגוי. ההקלטה, התמלולים, הרשומות ונימוקי הדירוג מופיעים בדף המבחן.
תוצאות
| דירוג | עוזר התיעוד | הזמן עד רשומה סופית | שגיאות ברשומה, לכל רשומה | כיסוי | סימוני הזיה לכל רשומה | שיעור שגיאות מילים |
|---|---|---|---|---|---|---|
| 1 | Hanah | 1 דק׳ 07 שנ׳ | 2.4 | 93% | 0.0 | 2.0% |
| 2 | CliniScripts | 1 דק׳ 50 שנ׳+42 שנ׳ | 2.2 | 94% | 0.6+0.6 | 3.6%+1.6% |
| 3 | Heidi | 1 דק׳ 56 שנ׳+49 שנ׳ | 3.8+1.4 | 86%−7% | 0.6+0.6 | 4.3%+2.3% |
| 4 | Lyrebird | 2 דק׳ 12 שנ׳+1 דק׳ 05 שנ׳ | 5.8+3.4 | 82%−11% | 1.4+1.4 | 3.5%+1.5% |
רשומת Hanah הייתה מוכנה לאישור סופי בממוצע דקה ו-7 שניות לאחר סיום הביקור. היא כיסתה 93% מהעובדות, עם 2.4 שגיאות ברשומה ללא סימוני הזיה באף הרצה. בדיקתה ותיקונה ארכו 88% פחות זמן מכתיבת הרשומה בעצמכם.
CliniScripts דורג שני עם דקה ו-50 שניות. היו לו הכי מעט שגיאות ברשומה, 2.2 לרשומה, והכיסוי הגבוה ביותר, 94%, ושניהם בתוך מרווח הטעות מהנתונים של Hanah. Heidi דורג שלישי עם דקה ו-56 שניות, עם 3.8 שגיאות ברשומה, ו-Lyrebird רביעי עם 2 דקות ו-12 שניות.
Hanah תמלל הינדי בדיוק הרב ביותר, עם שיעור שגיאות מילים (WER) של 2.0%. אחריו Lyrebird עם 3.5% ו-CliniScripts עם 3.6%. Hanah הפיק את הרשומה שלו בחציון של 10 שניות לאחר העצירה.
ממצאים
- המטופל אמר שהוא מדלג לפעמים על ארוחות. אחד מעוזרי התיעוד תרגם זאת כאילו "מדלגים לפעמים" על קנאביס, ותיעד שימוש בקנאביס בכל רשומה.
- ל-Hanah לא היו סימוני הזיה באף הרצה, והוא היה עוזר התיעוד היחיד שלא היו לו סימונים כלל.
- המטופל ייחס את השינה הגרועה ללחץ בעבודה. CliniScripts תיעד זאת בכל הרצה, ואילו Hanah תיעד זאת רק באופן חלקי בכל הרצה.
- Hanah צרך 3.3 MB של נתונים לביקור, הכמות הקטנה ביותר מבין כל עוזרי התיעוד. Heidi צרך 23.3 MB.
סקירת Heidi שלנו מתארת כיצד Heidi תפקד בכל 12 הביקורים, כולל סרטון הדרכה.
הנתונים במאמר זה לקוחים ממבחן ההשוואה של ScribeStandard. ראו את התוצאות המלאות, את כל מבחן ואת אופן הבדיקה שלנו.