שיטות / מתועדות בגרסאות, לא מסתוריות

שיטות הערכה ומגבלות

תצוגה מקדימה מקומית — רשומות Hanah הופקו מחדש ב-11 באוקטובר 2026 באמצעות GPT-6.1 Sol, ברמת חשיבה נמוכה: 50 רשומות על פני 10 ביקורים, חמש גרסאות תמלול שמורות לכל אחד. שני ביקורים ממתינים לרשומות Hanah חדשות. ה-WER וראיות התמלול שומרים על תאריכי הלכידה המקוריים שלהם; שאר עוזרי התיעוד שומרים על התוצאות הקיימות שלהם. הרשומות החדשות דורגו באופן עיוור על ידי Sonnet 5.5 ברמה בינונית (medium), ולאחר מכן עברו ביקורת סוכן לא עיוורת; התוצאות זמניות, ללא תיקוף בלתי תלוי של קלינאים. התזמונים של Hanah הם הערכות: ההמתנה לרשומה לפי ההנחיה מבוססת על משך היצירה הנמדד ב-API בתוספת 2 שניות מרווח מוכנות; הזמן עד רשומה סופית מוסיף זמן מוערך של בדיקה ותיקון. שניהם אינם כוללים את סיום עיבוד התמלול ואת התקורה של האפליקציה, עד להרצה חיה חוזרת.

כל מספר צריך הגדרה. כל השוואה צריכה את אותם קלטים. הנה מה שמהדורה זו מודדת, ומה שאין ביכולתה לקבוע.

חוויית משתמש

איננו בודקים חוויית משתמש. ממה שראינו, עוזרי תיעוד מבוססי בינה מלאכותית דומים מאוד זה לזה ממוצר למוצר: לוחצים על הקלטה, מקיימים את הביקור ומקבלים רשומה. מה שמבדיל ביניהם הוא הדבר שבשבילו רוכשים אותם, ולכן זה מה שאנו מודדים, באופן אובייקטיבי: עד כמה במדויק כל עוזר תיעוד שומע את הביקור, עד כמה הרשומה שלו מדויקת ושלמה, וכמה זמן נדרש כדי להגיע לרשומה שאפשר לאשר סופית.

חוויית המוצר בפועל

אנו מנגנים את אותו שמע דרך דפדפני Chromium גלויים הנשלטים על ידי Playwright. לכל לכידה יש עותק מבודד של פרופיל מחובר. השמע מוכן באמצעות סביבת הבדיקה המשותפת כ-PCM מונו ב-44.1 kHz, עם שנייה אחת של שקט בתחילתו ועשר שניות של שקט בסופו. זהו קלט המיקרופון של המוצר; הוא אינו מכתיב את הקודק שהמוצר שולח לשרתיו.

סביבת הבדיקה מתעדת שינויים גלויים בתמלול, תמלולים סופיים, רשומות שנוצרו, אירועי ממשק משתמש וסיכומי תעבורת רשת לכל ההפעלה. היא אינה מקליטה וידאו. מוצרים שדורשים בחירת שפה מוגדרים לפני ההקלטה; צירופים שאינם נתמכים מוחרגים.

הרצות מרובות לכל תרחיש

בשל השונות בין הרצות על אותם נתוני תרחיש, הרצנו כל תרחיש מספר פעמים. כל עוזר תיעוד הריץ חמש פעמים כל ביקור שהשתתף בו. כל נתון הוא הממוצע על פני ההרצות, וכל תא פותח תרשים עם נקודה אחת לכל הרצה.

Lyrebird אינו תומך במקרה בצרפתית, והציון שלו מחושב על המקרים שבהם הוא תומך. לכידה אחת נכשלה בתוך המוצר (PatientNotes); בהרצה זו הממוצע מחושב על פני המקרים שהושלמו.

תמלולים סופיים

שיעור שגיאות מילים (WER) הוא סכום ההחלפות, ההשמטות וההוספות, חלקי מספר המילים בתמלול הייחוס, במצטבר על פני כל המקרים בהרצה. נמוך יותר עדיף. אנו ממתינים לפקדי הסיום של המוצר ולהתייצבות התמלול לפני שאנו לוכדים את הטקסט.

מספרים שקולים, כגון "ten" ו-"10", נספרים כאותה מילה, ודפי המקרים אינם מדגישים אותם. צורות מקוצרות (contractions) נותרות הבדלים מילוליים. בהינדי חלה מדיניות מתועדת של שקילות בין כתבים.

ה-WER מתייחס לכל המילים באופן שווה, ולכן אנו סופרים גם שגיאות תמלול משמעותיות. כל תמלול מושווה לתמלול הייחוס, הבדלים שהם רק מילות מילוי או מילות תפקוד מושמטים, ומדרג עיוור שופט כל הבדל שנותר: האם הוא עלול לשנות אבחנה, טיפול, מעקב, בטיחות או את התיק הרפואי? תרופות, מינונים, מספרים וצדדים שגויים, ושלילות שהתהפכו, הם בדרך כלל כאלה. שגיאות איות, ניסוח מחדש ופקודות הכתבה שנכתבו במפורש אינם כאלה. הבדל זהה מקבל אותו דירוג בכל מקום שבו הוא מופיע.

חומר מקור מתוקן

במקרים שבהם תמלול המקור לא תאם את מה שנאמר בהקלטה, תיקנו אותו, וכל עוזר תיעוד מקבל ציון מול אותו טקסט מתוקן. פקודות מדוברות כגון "period" ו-"next paragraph" מוסרות לפני מתן הציון.

דירוג עיוור של הרשומות

כל רשומה דורגה לפחות 5 פעמים על ידי חבר שופטים של בודקי בינה מלאכותית (סוכני משנה של Claude). רשומות של אותו ביקור עורבבו לחבילות שסומנו A עד G, עם הקשר זהה לכל רשומה.

לכל ביקור יש רשימה של כל עובדה שנאמרה ונוגעת למצבים הרפואיים, לתסמינים או לסימנים של המטופל, התקן ש-Weiner ואחרים (2020) השתמשו בו כשהשוו רשומות של רופאים להקלטות של הביקור. כל עובדה היא נקודה קלינית אחת: תסמינים ופרטיהם, שלילות רלוונטיות, היסטוריה, תרופות, ממצאי בדיקה גופנית שנאמרו בקול, ההערכה והתוכנית. מדובר ב-12 עד 45 עובדות לכל ביקור, 358 בסך הכול. אבחנות נספרות רק כאשר הקלינאי אמר אותן; עוזר תיעוד אינו אמור לאבחן. נסיבות חסרות חשיבות, כגון היכן נקנתה תרופה, אינן נכללות; פרטים בעלי משמעות קלינית, כגון צבע ההקאה או צד הכאב, נשארים. הרשימות נוסחו על ידי בינה מלאכותית מתוך תמלול הייחוס בלבד, בלי לראות אף רשומה, וכל עובדה מצטטת את השורה שממנה היא לקוחה.

חבר השופטים מסמן כל עובדה כמלאה, חלקית או חסרה. לאחר מכן, מעבר עיוור נפרד מסמן כל רכיב קליני שהרשומה מתעדת ואין לו תימוכין בביקור: תסמין, שלילה, פריט היסטוריה, תרופה, מינון, ממצא, אבחנה או פריט בתוכנית שמעולם לא נאמרו, או שנאמרו אחרת (ערך, צד, מינון, תזמון או אדם שגויים, או אפשרות שנכתבה כעובדה). אלה הן שגיאות הביצוע של Weiner ואחרים, וכל אחת מהן היא סימון הזיה, עם הנימוק שלה. ניסוח מחדש ומונחים קליניים למה שנאמר אינם נספרים. כל עובדה שהוחמצה או נקלטה חלקית היא שגיאה ברשומה, וכך גם כל סימון הזיה. פרט שנכתב באופן שגוי נספר פעמיים, כמו אצל Weiner ואחרים: פעם אחת כעובדה הנכונה שחסרה, ופעם אחת כסימון. אין דירוג חומרה נפרד: מעצם המבנה, כל עובדה ברשימה חשובה.

עד 2026-09-25 הרשומות דורגו מול רשימת תיוג של 13 עד 16 עובדות מפתח לכל ביקור, ומדרג נפרד שפט את מידת המשמעות של כל שגיאה. רשימת התיוג הגבילה את מספר ההשמטות שיכלו להיות ברשומה, ולכן החלפנו את שניהם ברשימת העובדות המלאה. ספירת השגיאות של כל עוזר תיעוד עלתה פי שניים עד שלושה; הסדר כמעט לא השתנה. שגיאות תמלול משמעותיות עדיין נשענות על דירוג משמעות. אלה בדיקות של בינה מלאכותית. אין הן תיקוף בלתי תלוי של קלינאים, והן אינן מבססות בטיחות קלינית.

זמן הבדיקה

זמן הבדיקה מעריך כמה זמן יידרש לקלינאי כדי להפוך כל רשומה לבטוחה לאישור סופי:

• קריאת הרשומה כולה בקצב של 190 מילים לדקה;
• 5 שניות להיזכר בכל עובדה חסרה או חלקית, ולאחר מכן הקלדתה בקצב של 40 מילים לדקה (מחציתה, בעובדה חלקית);
• 12 שניות לבדוק ולמחוק כל סימון הזיה. סימון שבו עובדה מהרשימה נכתבה באופן שגוי עולה גם הוא 12 שניות, נוסף על הקלדת העובדה מחדש.

תיקוני עיצוב אינם נספרים, מפני שכל עוזרי התיעוד ממלאים היטב הנחיות עיצוב. גם ההמתנה לרשומה אינה נספרת, מפני שקלינאים בודקים רשומות בדרך כלל בהמשך היום. הזמן עד רשומה סופית, להלן, כולל את ההמתנה.

הזמן שנחסך

הזמן שנחסך משווה את זמן הבדיקה לכתיבת אותה רשומה בעצמכם. כתיבה עצמית נלקחת כ-8.1 דקות, זמן הכתיבה הפעיל החציוני של רשומה לביקור בקרב 203,728 רופאים אמריקאים במרפאות חוץ, לפי Apathy ואחרים (2023). מחקרים שפורסמו מעמידים אותו על 6–10 דקות, בהתאם להתמחות ולתהליך העבודה; אנו משתמשים בחציון, הנמוך מבין שני הנתונים המרכזיים.

הזמן שנחסך הוא 8.1 דקות פחות זמן הבדיקה של הרשומה. זהו אותו קו בסיס לכל עוזרי התיעוד, כך שעוזר תיעוד חוסך יותר זמן רק אם רשומותיו דורשות פחות בדיקה.

מהיר יותר מכתיבה עצמית

"מהיר יותר מכתיבה עצמית" מציג את הזמן שנחסך כשיעור מהזמן הנדרש לכתיבת הרשומה בעצמכם: 1 פחות זמן הבדיקה חלקי זמן הכתיבה. 60% פירושו שבדיקת הרשומה ותיקונה אורכים 40% מזמן כתיבתה. נתון שלילי פירושו יהיה שתיקון הרשומה אורך יותר זמן מכתיבתה. כל רשומה מקבלת ציון בנפרד, ולאחר מכן מחושב הממוצע על פני הרצה.

הזמן עד רשומה סופית

הזמן עד רשומה סופית הוא ההמתנה מלחיצה על עצירה ועד שהרשומה שדורגה מוכנה, בתוספת זמן הבדיקה שלה. זהו המקרה שבו קלינאי בודק כל רשומה מיד לאחר הביקור. אם הפער בין מטופלים ארוך מזה, הרשומה מאושרת סופית לפני שהמטופל הבא נכנס. בעוזרי תיעוד שדורגו על פי רשומת ברירת המחדל שלהם, ההמתנה נמדדת עד רשומת ברירת המחדל. בדומה למדד "מעצירה ועד הרשומה לפי ההנחיה", מדד זה מבוסס על הרצות ייצור בלבד.

רשומות מוכנות לאישור כפי שנכתבו

רשומה מוכנה לאישור כפי שנכתבה כאשר חבר השופטים סימן כל עובדה ברשימה כנקלטת במלואה ולא מצא סימוני הזיה, כך ששום דבר אינו דורש עריכה. עיצוב אינו נספר, כמו בזמן הבדיקה. הנתון של כל עוזר תיעוד הוא שיעור הרשומות שלו שעמדו בכך.

מאמץ העריכה

מאמץ העריכה מראה כמה מהרשומה הקלינאי עדיין צריך לתקן, ללא קשר לאורכה. 0% פירושו שאין צורך בעריכה. 100% פירושו כתיבת הרשומה המלאה ידנית.

כל תיקון משוקלל לפי העבודה שהוא דורש:

• עובדה חלקית, 1: צריך רק להשלים אותה;
• עובדה חסרה, 2: צריך להיזכר בה ולכתוב אותה;
• סימון הזיה, 3: צריך לזהות אותו, לבדוק אותו ולמחוק אותו;
• עובדה שנקלטה באופן שגוי, 2 נוספים: צריך לזהות ולבדוק את הגרסה השגויה לפני שמתקנים אותה.

המשקלות של רשומה מסוכמים ומחולקים בציון של כתיבתה בעצמכם, שהוא 2 עבור כל עובדה ברשימת העובדות של הביקור. הזיות עלולות להעלות רשומה מעל 100%.

שגיאות שמגיעות לתיק הרפואי

זוהי הערכה של מספר השגיאות ברשומה (תקן Weiner ואחרים) שעדיין יישארו בתיק הרפואי לאחר שקלינאי בודק את הרשומה. היא מכפילה ב-70% את מספר השגיאות לרשומה של כל עוזר תיעוד.

ה-70% לקוחים מ-Biro ואחרים (2025). עשרים רופאי משפחה ברפואה ראשונית בדקו תשובות לפניות של מטופלים שנוסחו על ידי בינה מלאכותית, ובארבע מהן הושתלה שגיאה. כל שגיאה נותרה ללא תיקון אצל 13 עד 15 מתוך 20 הרופאים, כך ש-65–75% מהבודקים החמיצו אותה. אנו משתמשים בערך האמצעי, 14 מתוך 20.

זוהי הערכה, לא מדידה. Biro ואחרים חקרו תשובות לפניות של מטופלים, לא רשומות של ביקורים, והרגלי הבדיקה משתנים. אותו שיעור מוחל על כל עוזרי התיעוד, ולכן הוא אינו משנה את הסדר ביניהם או את הפערים ביניהם; הוא מתרגם את השגיאות בטיוטה למה שבדיקה טיפוסית הייתה מעבירה. הנתון מצטבר על פני כל רשומה שדורגה; הטווח הוא אותו נתון לכל הרצה.

הרשומה שכתב רופא

עמודת הרופא מציגה רופא שכותב את הרשומה ידנית, על פי מחקרים שפורסמו ולא על פי הדירוג שלנו.

• שגיאות: Weiner ואחרים (2020) השוו 105 רשומות של רופאים להקלטות סמויות של ביקורים עם מטופלים מדומים. הם מצאו 6.1 שגיאות לרשומה, ש-5.0 מהן עמדו בתקן שלהם (הם כינו אותן משמעותיות קלינית); 72% היו השמטות, ו-1.7 לרשומה היו דברים שתועדו אף שלא קרו. ב-90% מהרשומות הייתה לפחות שגיאה אחת. רשימות העובדות שלנו משתמשות באותו תקן כדי לקבוע אילו עובדות נספרות. הנתונים לכל הרצה בטבלה הם לרשומה × 11 ביקורים.
• זמן: Apathy ואחרים (2023) מדדו חציון של 8.1 דקות של כתיבת רשומה פעילה לביקור בקרב 203,728 רופאים אמריקאים במרפאות חוץ (ממוצע 9.1). אותן 8.1 דקות הן קו הבסיס של כתיבה עצמית עבור הזמן שנחסך, והטבלה המרכזית מציגה את הזמן עד רשומה סופית של כל עוזר תיעוד כשיעור ממנו.
• מוכנות לאישור: Weiner ואחרים מצאו לפחות שגיאה אחת ב-90% מהרשומות, כך ש-10% מהרשומות שכתבו רופאים היו עוברות כפי שנכתבו. מאמץ העריכה הוא 100% מעצם ההגדרה: הרופא כותב את הרשומה כולה.

נתונים אלה אינם שוות-ערך, וההבדל מיטיב עם הרופאים. עוזרי התיעוד מדורגים מול רשימות העובדות שלנו, נקודה קלינית אחת לכל עובדה, וקליטות חלקיות נספרות כשגיאות; Weiner ואחרים ספרו רכיבים גסים יותר ברשומות מרפאה אמיתיות. המבחן שלנו הוא המחמיר מבין השניים: בדירוג בשיטה שלנו, שש רשומות של רופאים (להלן) קיבלו 26 שגיאות כל אחת, לעומת 5.0 אצל Weiner ואחרים. הבדל אחד מכוון: Weiner ואחרים השמיטו ממצאי בדיקה גופנית מתועדים, מפני שהקלטה אינה יכולה להראות אם הרופא בדק את המטופל. נימוק זה אינו חל על עוזר תיעוד, שיודע רק את מה שנאמר, ולכן ממצא בדיקה ברשומה של עוזר תיעוד שמעולם לא נאמר נספר כסימון הזיה. השוואה הוגנת הייתה מחייבת שקלינאים בלתי תלויים יכתבו רשומות לשנים-עשר הביקורים שלנו, ושהרשומות שלהם ידורגו באופן עיוור לצד אלה של עוזרי התיעוד. טרם עשינו זאת; עד שנעשה זאת, יש לקרוא את עמודת הרופא כנקודת ייחוס שפורסמה, ולא כתוצאה של מבחן השוואה זה.

"פחות שגיאות מאשר ברשומות שכתבו רופאים" הוא 100% פחות מספר השגיאות לרשומה של כל עוזר תיעוד כשיעור מ-5.0 של Weiner ואחרים, במצטבר על פני כל רשומה שדורגה; 100% פירושו אפס שגיאות. הטווח הוא אותו נתון לכל הרצה.

השוואה זו מעמידה את רשומת עוזר התיעוד לפני הבדיקה מול רשומת הרופא כפי שתויקה, שאיש אינו בודק. גם הבדיקה אינה רשת ביטחון אמינה לשגיאות של עוזר התיעוד: אצל Biro ואחרים (2025), 20 רופאים ברפואה ראשונית בדקו תשובות לפניות של מטופלים שנוסחו על ידי בינה מלאכותית, וכל שגיאה מושתלת נותרה ללא תיקון אצל 13 עד 15 מהם. 35–45% מהטיוטות שהכילו שגיאות נשלחו ללא עריכה.

הבדיקה שלנו. שמונה משנים-עשר הביקורים לקוחים מ-PriMock57, שמפרסם את הרשומה שכתב הרופא המטפל באותו זמן (שבעה רופאי משפחה של Babylon, ביקורי וידאו מדומים בני 10 דקות, רשומות שהוקלדו בזמן אמת ושוחררו ללא בדיקה). בשישה הראשונים שילבנו את רשומת הרופא בין רשומות עוזרי התיעוד של אותו מקרה, ודירגנו אותה באופן עיוור מול אותה רשימת עובדות. ברשומות הרופאים היו בממוצע 26 שגיאות בכל אחת, רובן השמטות, ואף אחת מהן לא הייתה נקייה משגיאות. באותם שישה ביקורים, הממוצע של עוזרי התיעוד נע בין 4.3 (Hanah) ל-19.7 (PatientNotes). מדובר בשש רשומות קצרות, ולכן איננו מפרסמים זאת כשיעור שגיאות של רופאים; זוהי הבדיקה השוות-ערך שמראה שבכל עוזרי התיעוד היו ברשומות פחות שגיאות מאשר ברשומות של הרופאים עצמם באותם ביקורים.

ראש בראש

השוואת ראש בראש מעמידה שני עוזרי תיעוד זה מול זה בכל מדד. מתחת לציון, כל אחת מארבע מסקנות משתמשת במדד יחיד, כך שאף פער אינו נספר פעמיים: שיעור שגיאות מילים (תמלול), סימוני הזיה, שגיאות ברשומה (תקן Weiner ואחרים, דיוק הרשומה) והזמן עד רשומה גמורה. כל פער הוא כמה פחות ממנו יש לעוזר התיעוד הטוב יותר: (הגרוע יותר − הטוב יותר) ÷ הגרוע יותר.

"שקלול לטובת עוזר תיעוד" הוא הממוצע הפשוט של הפערים, במשקל שווה, כאשר תיקו נספר כ-0%. זהו סיכום משוער: הבחירה בארבעה מדדים ובמשקלות שווים מבוססת על תוצאות מסוכמות, ופער גדול נספר לכל היותר כ-100%.

השוואת ראש בראש נפתחת על שני עוזרי התיעוד המובילים לפי שקלול זה: כל עוזר תיעוד מושווה לכל אחד מהאחרים, מוצגים השניים בעלי מספר הניצחונות הגבוה ביותר בהשוואות ישירות, והפער המצטבר מכריע במקרה של תיקו.

רשומות ותזמון

כל עוזר תיעוד שמקבל הנחיה לרשומה קיבל את ההנחיה הזו, דרך ממשק המשתמש שלו:

Write SOAP notes using the headings Subjective, Objective, Assessment, and Plan. Use bullet points in every section and concise clinical shorthand.

Freed ו-CliniScripts אינם מקבלים הנחיה בדרך זו, ולכן הם מדורגים על פי רשומת ברירת המחדל שלהם. המדד "מעצירה ועד הרשומה לפי ההנחיה" עדיין מתזמן את הרשומה לפי ההנחיה כאשר קיימת כזו.

"מעצירה ועד הרשומה לפי ההנחיה" הוא החציון, לכל הרצה, של הזמן מלחיצה על עצירה ועד שהרשומה המבוקשת מוכנה. תנאי ההשלמה כוללים המתנות קצרות להתייצבות ממשק המשתמש, והלכידות חולקות מכונה וחיבור אינטרנט, ולכן זו אינה בדיקה מבודדת של זמן התגובה של השרת.

חשבון רוחב הפס

סיכומי NetLog של Chromium כוללים את טעינת האפליקציה, ההקלטה, סיום העיבוד, הרשומות וסגירת הדפדפן, כולל תעבורת WebSocket. אירועי בתים של Socket ושל UDP נספרים פעם אחת; מטעני HTTP ו-WebSocket מפוענחים אינם מתווספים שוב. זו אינה התעבורה שספק האינטרנט מחייב עליה: כותרות מנות ושידורים חוזרים של TCP אינם נכללים. יומנים חסרים או לא תקינים מסומנים כלא זמינים, ולעולם לא כאפס.

שחזוריות

הורידו הכול כקובץ JSON אחד: הציונים, התמלול, סימוני השגיאות, הרשומה, ההכרעות לגבי העובדות והנימוקים של חבר השופטים בכל הרצה, עבור כל 12 הביקורים. הציונים לבדם זמינים גם כקובץ CSV. ניתן להשמיע או להוריד את הקלטות המקור מהדף של כל ביקור. פרופילי אימות ויומני רשת גולמיים אינם מתפרסמים.