מתודולוגיה · פורסם
מבחן בתקן תעשייתי לעוזרי תיעוד רפואי מבוססי בינה מלאכותית
ScribeStandard מעביר כל עוזר תיעוד רפואי מבוסס בינה מלאכותית מבחנים שקופים וקפדניים, שנועדו להראות כיצד עוזרי התיעוד עובדים בעולם האמיתי - מעבר לטענות הדיוק שבחומרי השיווק שלהם.
הביקורים
מבחן ההשוואה מבוסס על 12 ביקורים מוקלטים. שמונה מהם הם ביקורי דמה אצל רופא משפחה מתוך PriMock57, מאגר נתונים ציבורי של ביקורים ברפואה ראשונית, והם עוסקים בקרדיולוגיה, דרמטולוגיה, גסטרואנטרולוגיה, נוירולוגיה, אורולוגיה, בריאות הנפש ואלרגיה. האחרים הם ביקור שנערך כולו בהינדי, ביקור בצרפתית, אנמנזה קצרה בניהול כאב, ומפגש טיפול במיותרפיה בן 50 דקות שהוקלט כשברקע טלוויזיה וקולות מחדר אחר. אורכם נע בין 31 שניות ל-50 דקות.
ניתן להשמיע ולהוריד כל הקלטה מדף המבחן שלה. לכל אחת יש תמלול ייחוס, ובמקומות שבהם התמלול של מאגר הנתונים לא תאם את מה שנאמר, תיקנו אותו. כל ששת עוזרי התיעוד מקבלים ציון מול אותו טקסט מתוקן.
בדיקת המוצר שבו הקלינאים משתמשים
אנו בודקים כל עוזר תיעוד דרך אפליקציית האינטרנט שלו. סקריפט מפעיל דפדפן Chromium גלוי המחובר לחשבון רגיל, לוחץ על הקלטה, משמיע את הביקור לכניסת המיקרופון ולוחץ על עצירה. כל עוזר תיעוד מקבל שמע זהה. עוזרי התיעוד שמקבלים הנחיה לרשומה מקבלים כולם את אותה הנחיה: כותרות SOAP עם תבליטים וקיצור קליני תמציתי. Freed ו-CliniScripts אינם מקבלים הנחיה בדרך זו, והם מדורגים על פי רשומת ברירת המחדל שלהם.
כל עוזר תיעוד הקליט כל ביקור שהוא תומך בו חמש פעמים לפחות. התוצאות משתנות מהרצה להרצה על אותו שמע בדיוק, והרצה בודדת עלולה להציג מוצר טוב או גרוע ממה שהוא באמת. הנתונים באתר הם הממוצע על פני ההרצות, וכל תא פותח תרשים עם נקודה אחת לכל הרצה.
דירוג הרשומות
לכל ביקור יש רשימת עובדות של כל עובדה שנאמרה ונוגעת למצבי המטופל, לתסמיניו או לסימניו: 358 עובדות ב-12 הביקורים. זהו התקן שבו השתמשו Weiner ואחרים (2020) כשבדקו רשומות של 105 רופאים מול הקלטות של הביקור. רשימת העובדות מצטטת את שורת התמלול שעליה נשענת כל עובדה. אבחנה נכללת ברשימת העובדות רק אם הקלינאי אמר אותה, משום שעוזר תיעוד אינו אמור לאבחן.
רשומות של אותו ביקור מעורבבות יחד, ללא שמות המוצרים, ומדורגות בידי חבר שופטים של סוקרי AI. לכל עובדה חבר השופטים מסמן אם הרשומה מלאה, חלקית או חסרה. מעבר נפרד מסמן כל דבר שהרשומה מתעדת ושהביקור אינו תומך בו, כגון תסמין שאיש לא הזכיר או מינון, צד או תזמון שגויים. אלה הם סימוני הזיה. עובדה שהוחמצה או שתועדה חלקית היא שגיאה ברשומה, וכך גם סימון הזיה. פרט שגוי נספר פעמיים, כפי ש-Weiner ואחרים ספרו אותו.
זמן הקלינאי
אנו מעריכים את זמן הבדיקה של כל רשומה על סמך קריאתה בקצב של 190 מילים לדקה, היזכרות בכל עובדה חסרה והקלדתה, ובדיקה ומחיקה של כל סימון הזיה. הזמן עד רשומה סופית מוסיף את ההמתנה לאחר לחיצה על עצירה. שני המדדים מושווים לכתיבת הרשומה בעצמכם, חציון של 8.1 דקות לביקור בקרב 203,728 רופאים בארה"ב לפי Apathy ואחרים (2023).
אנו מדרגים את עוזרי התיעוד בכל מבחן לפי הזמן עד רשומה סופית, משום שזה הזמן שהקלינאי מקדיש בין סיום הביקור לבין רשומה גמורה.
תמלול, מהירות ונתונים
שיעור שגיאות המילים (WER) נמדד על התמלול הסופי שכל עוזר תיעוד שומר, מול תמלול הייחוס. הוא נותן משקל שווה לכל מילה, ותרופה שגויה או שלילה שהתהפכה נספרות לא יותר מהשמטה של "the". אנו סופרים גם שגיאות תמלול משמעותיות, כלומר הבדלים שמדרג עיוור קובע כי עלולים לשנות אבחנה, טיפול, מעקב או בטיחות.
אנו מודדים כמה זמן נדרש לכל עוזר תיעוד להפיק את הרשומה לאחר העצירה, ומודדים את כל הנתונים שמפגש הקלטה מעביר, מפתיחת האפליקציה ועד סגירת הדפדפן. מבחן עומס בן 50 דקות, שבו כל עוזרי התיעוד מקליטים בו-זמנית על מחשב אחד, מודד את השימוש בזיכרון ובמעבד.
רופאים כנקודת ייחוס
התוצאות מוצגות לצד נתונים שפורסמו על רופאים הכותבים את הרשומות שלהם: 5.0 שגיאות לרשומה ו-10% רשומות ללא שגיאות לפי Weiner ואחרים (2020), ו-8.1 דקות כתיבה לפי Apathy ואחרים (2023). הדירוג שלנו מחמיר יותר מזה של Weiner ואחרים, וזה מיטיב עם הרופאים. כשדירגנו באופן עיוור את הרשומות של שישה רופאים מ-PriMock57, מעורבבות עם רשומות עוזרי התיעוד לאותם ביקורים, נרשמו להם בממוצע 26 שגיאות כל אחד מול אותן רשימות עובדות.
התוצאות הנוכחיות
בכל 12 הביקורים, השגיאות ברשומה נעו בין 4.1 ל-18.0 לרשומה, וזמן הבדיקה בין 2 דקות ו-2 שניות ל-5 דקות ו-11 שניות. Hanah דורג ראשון ב-18 מתוך 19 המדדים שאנו מפרסמים. טבלת התוצאות כוללת כל עוזר תיעוד בכל מדד, ולכל התמחות ולכל שפה יש מאמר משלה.
מגבלות
הדירוג מבוצע בידי סוקרי AI ולא תוקף בידי קלינאים בלתי תלויים. סימון הזיה נספר פעם אחת, תהא ההשלכה הקלינית שלו אשר תהא. זמן הבדיקה הוא הערכה המבוססת על קצבי קריאה והקלדה קבועים, והנתונים על רופאים לקוחים ממחקרים שונים על ביקורים שונים. השוואה של תפוח לתפוח תחייב קלינאים בלתי תלויים לכתוב רשומות ל-12 הביקורים ולדרג אותן באופן עיוור לצד עוזרי התיעוד, ועדיין לא עשינו זאת.
איננו בודקים את חוויית המשתמש, משום שלחיצה על הקלטה וקבלת רשומה פועלות בערך באותו אופן בכל עוזרי התיעוד שבדקנו.
הנתונים
התמלול, הרשומה, הכרעות העובדות, סימוני ההזיה ונימוקי חבר השופטים של כל הרצה נמצאים בקובץ JSON אחד, והציונים בלבד בקובץ CSV. השיטה המלאה מופיעה בדף המתודולוגיה. כל מי שיש לו חשבונות בעוזרי התיעוד האלה יכול להשמיע דרכם את אותן הקלטות ולבדוק את המספרים שלנו.
הנתונים במאמר זה לקוחים ממבחן ההשוואה של ScribeStandard. ראו את התוצאות המלאות, את כל מבחן ואת אופן הבדיקה שלנו.