תוצאות · פורסם
עוזר התיעוד הרפואי מבוסס הבינה המלאכותית הטוב ביותר לטיפול בכאב
Hanah היה עוזר התיעוד מבוסס הבינה המלאכותית הטוב ביותר שבדקנו בהכתבה בתחום הטיפול בכאב. עוזרי התיעוד המובילים היו קרובים זה לזה ברמת הדיוק, וכמה מההבדלים כאן נמצאים בתוך טווח הטעות, אך ל-Hanah היה הזמן הקצר ביותר עד רשומה סופית, והוא תיעד כל עובדה בכל הרצה.
המבחן
המבחן הוא סיכום קצר מוכתב ממרפאת כאב, של אישה בת 55 עם כאב גב תחתון ונימול ברגל שמאל, בדיקת MRI שמראה היצרות פורמינלית ב-L4-5, ותוכנית להזרקת סטרואידים אפידורלית מותנית. שישה עוזרי תיעוד מבוססי בינה מלאכותית הקליטו אותו חמש פעמים כל אחד, וכל רשומה הוערכה באופן עיוור מול 12 העובדות הקליניות שבהכתבה. אנו מדרגים את עוזרי התיעוד לפי הזמן עד רשומה סופית: ההמתנה לאחר הלחיצה על עצירה, ועוד הזמן שקלינאי צריך כדי לבדוק את הרשומה ולתקן את מה ששגוי בה. תמלול הייחוס טרם אומת מילה במילה מול ההקלטה, ושיעורי שגיאות המילים המבוססים עליו הם זמניים. ההקלטה, התמלולים, הרשומות ונימוקי ההערכה מופיעים בדף המבחן.
תוצאות
| דירוג | עוזר התיעוד | הזמן עד רשומה סופית | שגיאות ברשומה (לכל רשומה) | כיסוי | סימוני הזיה (לכל רשומה) | שיעור שגיאות מילים (זמני) |
|---|---|---|---|---|---|---|
| 1 | Hanah | 42 שנ׳ | 1.0 | 100% | 1.0 | 7.9% |
| 2 | Lyrebird | 54 שנ׳+12 שנ׳ | 1.4+0.4 | 92%−8% | 0.4 | 7.0% |
| 3 | CliniScripts | 59 שנ׳+18 שנ׳ | 1.4+0.4 | 92%−8% | 0.4 | 6.7% |
| 5 | PatientNotes | 1 דק׳ 02 שנ׳+20 שנ׳ | 0.8 | 99%−1% | 0.6 | 12.3%+4.4% |
רשומה של Hanah הייתה מוכנה לאישור סופי בממוצע 42 שניות לאחר סיום ההכתבה, ובדיקתה ארכה 33 שניות. היא תיעדה 100% מהעובדות בכל חמש ההרצות. בכל רשומה של Hanah היה סימון הזיה אחד, ולכן עמדו השגיאות ברשומה על 1.0 לכל רשומה.
Lyrebird הגיע למקום השני עם 54 שניות ו-CliniScripts למקום השלישי עם 59 שניות. לשניהם היו 1.4 שגיאות ברשומה לכל רשומה וכיסוי של 92%. ההרצה המהירה ביותר של CliniScripts, 39 שניות, הייתה מהירה מהממוצע של Hanah, ורשומה אחת מתוך חמש של CliniScripts לא נזקקה לעריכה כלל.
ל-PatientNotes היו הכי מעט שגיאות ברשומה בהכתבה זו, 0.8 לכל רשומה, ושתיים מחמש הרשומות שלו לא נזקקו לעריכה. ההבדל מ-1.0 של Hanah נמצא בתוך טווח הטעות, ו-PatientNotes נזקק לדקה אחת ו-2 שניות עד רשומה סופית.
ל-CliniScripts היה שיעור שגיאות המילים הזמני הנמוך ביותר, 6.7%, ואחריו Lyrebird עם 7.0% ו-Hanah עם 7.9%.
ממצאים
- ההכתבה מציינת את המוצא האתני של המטופלת. Hanah ו-PatientNotes תיעדו אותו בכל הרצה, CliniScripts באחת מתוך חמש ו-Lyrebird באף אחת.
- סימון ההזיה האחד בכל רשומה של Hanah היה זהה בכל הרצה: הוא קישר בין ממצא ה-MRI לבין התסמינים ברגל שמאל, קשר שההכתבה אינה יוצרת.
- ל-Hanah, ל-CliniScripts ול-Lyrebird לא היו מילים שנשמעו שגוי ומשנות את המשמעות הקלינית. עוזרי תיעוד אחרים שיבשו את המונחים "foraminal stenosis" (היצרות פורמינלית) ו-"extremity" (גפה).
- Hanah השתמש ב-2.5 MB של נתונים בהכתבה, הכמות הקטנה ביותר מבין כל עוזרי התיעוד.
הנתונים במאמר זה לקוחים ממבחן ההשוואה של ScribeStandard. ראו את התוצאות המלאות, את כל מבחן ואת אופן הבדיקה שלנו.