תוצאות · פורסם
עוזר התיעוד הרפואי מבוסס הבינה המלאכותית הטוב ביותר למיותרפיה
Hanah היה עוזר התיעוד מבוסס הבינה המלאכותית הטוב ביותר שבדקנו בביקור מיותרפיה בן 50 דקות, והוא הוביל בפער גדול מטווח הטעות. Heidi הגיע למקום השני ו-CliniScripts למקום השלישי.
המבחן
הביקור הוא מפגש טיפולי ארוך בשל התלקחות של כאב גב תחתון ממושך וכאב בכתף ימין, שמסתיים בתוכנית מתיחות לביצוע בבית ובהנחיות להרמה נכונה. זהו מבחן העומס של מבחן ההשוואה, וברקע נשמעים טלוויזיה וקולות מחדר אחר. שישה עוזרי תיעוד מבוססי בינה מלאכותית הקליטו אותו חמש פעמים כל אחד, וכל רשומה הוערכה באופן עיוור מול 40 העובדות הקליניות שנאמרו בביקור. אנו מדרגים את עוזרי התיעוד לפי הזמן עד רשומה סופית: ההמתנה לאחר הלחיצה על עצירה, ועוד הזמן שקלינאי צריך כדי לבדוק את הרשומה ולתקן את מה ששגוי בה. ההקלטה, התמלולים, הרשומות ונימוקי ההערכה מופיעים בדף המבחן.
תוצאות
| דירוג | עוזר התיעוד | הזמן עד רשומה סופית | שגיאות ברשומה (לכל רשומה) | כיסוי | סימוני הזיה (לכל רשומה) | שיעור שגיאות מילים |
|---|---|---|---|---|---|---|
| 1 | Hanah | 2 דק׳ 45 שנ׳ | 5.2 | 92% | 1.0 | 1.3% |
| 2 | Heidi | 3 דק׳ 41 שנ׳+56 שנ׳ | 9.6+4.4 | 82%−10% | 0.8 | 3.9%+2.6% |
| 3 | CliniScripts | 4 דק׳ 16 שנ׳+1 דק׳ 31 שנ׳ | 9.0+3.8 | 88%−4% | 2.2+1.2 | 1.1% |
| 4 | Freed | 4 דק׳ 40 שנ׳+1 דק׳ 54 שנ׳ | 6.4+1.2 | 86%−5% | 0.8 | 66.8%+65.6% |
רשומה של Hanah הייתה מוכנה לאישור סופי בממוצע 2 דקות ו-45 שניות לאחר סיום הביקור, וחמש ההרצות שלו היו בטווח של 7 שניות זו מזו. היא תיעדה 92% מהעובדות, עם 5.2 שגיאות ברשומה לכל רשומה, המספר הנמוך ביותר מבין כל עוזרי התיעוד. בדיקתה ותיקונה ארכו 71% פחות זמן מכתיבת הרשומה באופן עצמאי.
Heidi הגיע למקום השני עם 3 דקות ו-41 שניות ו-CliniScripts למקום השלישי עם 4 דקות ו-16 שניות. ל-CliniScripts היה הכיסוי השני בגובהו, 88%. Freed הגיע למקום הרביעי עם 4 דקות ו-40 שניות, והיו לו הכי מעט שגיאות ברשומה אחרי Hanah, 6.4.
ל-CliniScripts ול-Hanah היו שיעורי שגיאות המילים הנמוכים ביותר, 1.1% ו-1.3%, הבדל שנמצא בתוך טווח הטעות. לאף אחד מהשניים לא הייתה, בשום הרצה, מילה שנשמעה שגוי ומשנה את המשמעות הקלינית.
ממצאים
- Hanah השתמש ב-13.5 MB של נתונים לאורך 50 הדקות. Heidi השתמש ב-145 MB ו-CliniScripts ב-132 MB.
- התמלולים של Freed כללו קטעים ארוכים שלא היו חלק מהביקור, ובשל כך שיעור שגיאות המילים שלו הגיע ל-66.8%.
- ל-Hanah ול-CliniScripts לא היו, בשום הרצה, מילים שנשמעו שגוי ומשנות את המשמעות הקלינית, למרות הטלוויזיה שפעלה ברקע.
- סימון ההזיה האחד בכל רשומה של Hanah היה זהה בכל הרצה: הוא תיאר את כאב הגב כהתלקחות "בדפוס מכני" ("mechanical-pattern"), דבר שהמטפל לא אמר.
הסקירה שלנו על Heidi מציגה את ביצועי Heidi בכל 12 הביקורים, כולל סרטון הסבר.
הנתונים במאמר זה לקוחים ממבחן ההשוואה של ScribeStandard. ראו את התוצאות המלאות, את כל מבחן ואת אופן הבדיקה שלנו.