טכנולוגיה קלינית במבחן
עוזרי תיעוד מבוססי בינה מלאכותית, תחת המיקרוסקופ.
אנו בודקים עוזרי תיעוד רפואי מבוססי בינה מלאכותית על אותם ביקורים מוקלטים. ראו כיצד הם משתווים זה לזה בתמלול, ברשומות הקליניות ובמהירות — ואז הביטו מקרוב במקרים שמאחורי המספרים.
לכל ביקור יש רשימה של כל עובדה שנאמרה ונוגעת למצבים הרפואיים, לתסמינים או לסימנים של המטופל, התקן ש-Weiner ואחרים (2020) השתמשו בו כדי לבקר רשומות של רופאים. הרשימות נוסחו על ידי בינה מלאכותית מתוך תמלול הייחוס של כל ביקור בלבד, לפני שדורגה רשומה כלשהי, וכל עובדה מצטטת את השורה שממנה היא לקוחה.
תצוגה מקדימה מקומית — רשומות Hanah הופקו מחדש ב-11 באוקטובר 2026 באמצעות GPT-6.1 Sol, ברמת חשיבה נמוכה: 50 רשומות על פני 10 ביקורים, חמש גרסאות תמלול שמורות לכל אחד. שני ביקורים ממתינים לרשומות Hanah חדשות. ה-WER וראיות התמלול שומרים על תאריכי הלכידה המקוריים שלהם; שאר עוזרי התיעוד שומרים על התוצאות הקיימות שלהם. הרשומות החדשות דורגו באופן עיוור על ידי Sonnet 5.5 ברמה בינונית (medium), ולאחר מכן עברו ביקורת סוכן לא עיוורת; התוצאות זמניות, ללא תיקוף בלתי תלוי של קלינאים. התזמונים של Hanah הם הערכות: ההמתנה לרשומה לפי ההנחיה מבוססת על משך היצירה הנמדד ב-API בתוספת 2 שניות מרווח מוכנות; הזמן עד רשומה סופית מוסיף זמן מוערך של בדיקה ותיקון. שניהם אינם כוללים את סיום עיבוד התמלול ואת התקורה של האפליקציה, עד להרצה חיה חוזרת.
מבחן השוואה · 22 בספטמבר 2026
עוזרי תיעוד מבוססי בינה מלאכותית מול רופא שכותב את הרשומה
6 עוזרי תיעוד, 12 ביקורים, תצוגה מקדימה של רשומות Hanah ב-10 מקרים; שאר התוצאות שומרות על התאריכים המקוריים שלהן. עמודת הרופא מבוססת על מחקרים שפורסמו, לא על הדירוג שלנו.
החליקו או גללו את הטבלה כדי לראות את כל עוזרי התיעוד ←
| מדד | רשומה שכתב רופא (מחקרים שפורסמו)* | Hanah | Heidi | CliniScripts | Lyrebird | Freed | PatientNotes |
|---|---|---|---|---|---|---|---|
| עובדות שהוחמצו, נקלטו חלקית או הומצאו לגבי מצב רפואי, תסמין או סימן (Weiner ואחרים), לפני בדיקה כלשהי. נמוך יותר עדיף. | |||||||
| כשיעור מהזמן שלוקח לרופא לכתוב אותה (100%). נמוך יותר עדיף. | |||||||
| העבודה הנדרשת לתיקון הרשומה, כשיעור מכתיבתה ידנית. נמוך יותר עדיף. | |||||||
| רשומות ללא עובדות חסרות, חלקיות או מומצאות. גבוה יותר עדיף. |
- * רשומה שכתב רופא (מחקרים שפורסמו): נתונים שפורסמו, שלא דורגו על ידינו. שגיאות: Weiner ואחרים 2020, 105 רשומות של רופאים שהושוו להקלטות סמויות של הביקור: 5.0 שגיאות לרשומה לפי התקן שלהם (כל שגיאה לגבי מצב רפואי, תסמין או סימן; התקן שלנו סופר באותו אופן), 1.72 דברים שתועדו אף שלא קרו (שורת סימוני ההזיה), 6.1 שגיאות בסך הכול, ורק 10% מהרשומות ללא שגיאות; הנתונים לכל הרצה הם לרשומה × 12. זמן: Apathy ואחרים 2023, חציון של 8.1 דקות של כתיבת רשומה פעילה לביקור בקרב 203,728 רופאים במרפאות חוץ. מאמץ העריכה הוא 100% מעצם ההגדרה: הרופא כותב את הרשומה כולה. ההשוואה אינה שוות-ערך, והיא מיטיבה עם הרופאים: רשימת העובדות שלנו סופרת כל עובדה רלוונטית וכל קליטה חלקית, בקפדנות רבה יותר מ-Weiner ואחרים; בדירוג בשיטה שלנו, שש רשומות של רופאים קיבלו 26 שגיאות כל אחת. נקודת ייחוס שוות-ערך מחייבת שקלינאים יכתבו רשומות לביקורים שלנו, שידורגו באופן עיוור יחד עם עוזרי התיעוד; טרם עשינו זאת.
כל המדדים · 22 בספטמבר 2026
6 עוזרי תיעוד מבוססי בינה מלאכותית, 12 ביקורים
הרשומות דורגו באופן עיוור, ותוצאות Hanah החדשות עברו בנוסף ביקורת סוכן זמנית. כל נתון הוא הממוצע על פני ההרצות; בחרו תא כלשהו כדי לראות את כל ההרצות.
תצוגה מקדימה מקומית — רשומות Hanah הופקו מחדש ב-11 באוקטובר 2026 באמצעות GPT-6.1 Sol, ברמת חשיבה נמוכה: 50 רשומות על פני 10 ביקורים, חמש גרסאות תמלול שמורות לכל אחד. שני ביקורים ממתינים לרשומות Hanah חדשות. ה-WER וראיות התמלול שומרים על תאריכי הלכידה המקוריים שלהם; שאר עוזרי התיעוד שומרים על התוצאות הקיימות שלהם. הרשומות החדשות דורגו באופן עיוור על ידי Sonnet 5.5 ברמה בינונית (medium), ולאחר מכן עברו ביקורת סוכן לא עיוורת; התוצאות זמניות, ללא תיקוף בלתי תלוי של קלינאים. התזמונים של Hanah הם הערכות: ההמתנה לרשומה לפי ההנחיה מבוססת על משך היצירה הנמדד ב-API בתוספת 2 שניות מרווח מוכנות; הזמן עד רשומה סופית מוסיף זמן מוערך של בדיקה ותיקון. שניהם אינם כוללים את סיום עיבוד התמלול ואת התקורה של האפליקציה, עד להרצה חיה חוזרת.
החליקו או גללו את הטבלה כדי לראות את כל עוזרי התיעוד ←
| מדד | רשומה שכתב רופא (מחקרים שפורסמו)* | Hanah1 | Heidi | CliniScripts2 | Lyrebird3 | Freed4 | PatientNotes |
|---|---|---|---|---|---|---|---|
| ההמתנה מלחיצה על עצירה ועד הרשומה שדורגה, בתוספת זמן הבדיקה: כמה זמן עובר עד שאפשר לאשר את הרשומה סופית, אם היא נבדקת מיד. | 8 דק׳ 6 שנ׳ |
||||||
| שיעור הרשומות שקלטו במלואה כל עובדה ברשימת העובדות של הביקור, ללא סימוני הזיה, כך ששום דבר לא נדרש לעריכה. | 10% |
||||||
| 0% פירושו שאין צורך בעריכה; 100% פירושו כתיבת הרשומה המלאה ידנית. התיקונים משוקללים לפי העבודה שהם דורשים: עובדה חלקית 1, עובדה חסרה 2, סימון הזיה 3, ותוספת של 2 כאשר עובדה נקלטה באופן שגוי. | 100% |
||||||
| הזמן המוערך שנדרש לקלינאי כדי להגיה ולתקן רשומה אחת (קריאה בקצב של 190 wpm, 5 שנ׳ להיזכר ו-40 wpm להקליד כל עובדה חסרה או חלקית, 12 שנ׳ לאמת ולמחוק כל סימון הזיה, כולל עובדה שגויה לפני שהיא מוקלדת מחדש). | — |
||||||
| הרשומה האחת שבדיקתה ותיקונה היו האיטיים ביותר מבין כל המקרים וההרצות. | — |
||||||
| הזמן לכתוב את הרשומה בעצמכם (8.1 דק׳, החציון אצל Apathy ואחרים 2023) פחות זמן הבדיקה. | — |
||||||
| בכמה מהירים יותר בדיקת הרשומה ותיקונה לעומת כתיבתה בעצמכם (8.1 דק׳, החציון אצל Apathy ואחרים 2023). ערך שלילי פירושו איטי יותר. | — |
||||||
| עובדות רלוונטיות שהרשומה החמיצה או קלטה רק בחלקן, בתוספת כל סימון הזיה (פרט שגוי נספר פעמיים, כמו אצל Weiner ואחרים), מול רשימה של כל עובדה שנאמרה ונוגעת למצבים הרפואיים, לתסמינים או לסימנים של המטופל (Weiner ואחרים 2020). סך הכול לכל הרצה, על פני 12 מקרים. הספירה הפשוטה מופיעה בשורת סימוני ההזיה. | 60.0 |
||||||
| שגיאות ברשומה (תקן Weiner ואחרים) לכל 100 רשומות, כפול 70%: במחקר של Biro ואחרים (2025), רופאי משפחה שבדקו טיוטות של בינה מלאכותית השאירו כל שגיאה מושתלת ללא תיקון ב-65–75% מהמקרים. הערכה של מה שבדיקה טיפוסית הייתה מעבירה, על פני 12 מקרים. | 500 |
||||||
| בהשוואה ל-5.0 השגיאות לרשומה ש-Weiner ואחרים (2020) מצאו ברשומות של רופאים שנבדקו מול הקלטות של הביקור. המבחן שלנו סופר בקפדנות רבה יותר משלהם, ולכן הדבר מיטיב עם הרופאים. 100% פירושו אפס שגיאות; מתחת ל-0% פירושו יותר שגיאות מאשר אצל הרופאים. על פני 11 מקרים. | 0% |
||||||
| כל רכיב קליני שהרשומה מתעדת ואין לו תימוכין בביקור, כולל ערכים, צדדים, מינונים ותזמונים שגויים: שגיאות הביצוע של Weiner ואחרים (2020). ניסוח מחדש ומונחים קליניים למה שנאמר אינם נספרים. ממוצע לרשומה, על פני 12 מקרים. | 1.72 |
||||||
| פריטים חסרים, פריטים חלקיים וסימוני הזיה שקלינאי יצטרך לתקן, לכל רשומה. | 6.06 |
||||||
| החלק מרשימת העובדות של כל ביקור שנקלט ברשומה (עובדה חלקית נספרת כמחצית). | — |
||||||
| מילים שנשמעו באופן שגוי ומשנות את המשמעות הקלינית, בדירוג עיוור, על פני 12 מקרים. | — |
||||||
| שיעור שגיאות מילים מצטבר לכל הרצה, מול תמלול הייחוס האנושי. כל מילה נספרת באופן שווה, כולל מילות מילוי. | — |
||||||
| הזמן החציוני מלחיצה על עצירה ועד הרשומה שנכתבה לפי ההנחיה שלנו, לכל הרצה. | — |
||||||
| נפח נתוני הרשת הממוצע לביקור, לכל הרצה. | — |
||||||
| טביעת הזיכרון הפיזי (`footprint` של macOS, התואם לעמודת הזיכרון ב-Activity Monitor), שנדגמה מדי דקה במהלך ביקור רציף אחד בן 50 דקות במבחן העומס — בנפרד מחבילת 12 המקרים שלעיל. כל עוזרי התיעוד הקליטו ביקור זה בו-זמנית על מכונה אחת, ולכן הערכים המוחלטים משקפים את התחרות המשותפת ביניהם על המשאבים, ולא שימוש מבודד בעולם האמיתי. השוו כאן בין עוזרי התיעוד לבין עצמם, ולא למפרט של מכשיר. | — |
||||||
| השימוש ב-CPU בכל דקה במהלך אותו ביקור רציף בן 50 דקות במבחן העומס, הנמדד כסך שניות ה-CPU שנצרכו חלקי הזמן שחלף בפועל (יכול לעלות על 100% כאשר עוזר תיעוד משתמש ביותר מליבה אחת). כל עוזרי התיעוד רצו במקביל על מכונה אחת. | — |
- * רשומה שכתב רופא (מחקרים שפורסמו): נתונים שפורסמו, שלא דורגו על ידינו. שגיאות: Weiner ואחרים 2020, 105 רשומות של רופאים שהושוו להקלטות סמויות של הביקור: 5.0 שגיאות לרשומה לפי התקן שלהם (כל שגיאה לגבי מצב רפואי, תסמין או סימן; התקן שלנו סופר באותו אופן), 1.72 דברים שתועדו אף שלא קרו (שורת סימוני ההזיה), 6.1 שגיאות בסך הכול, ורק 10% מהרשומות ללא שגיאות; הנתונים לכל הרצה הם לרשומה × 12. זמן: Apathy ואחרים 2023, חציון של 8.1 דקות של כתיבת רשומה פעילה לביקור בקרב 203,728 רופאים במרפאות חוץ. מאמץ העריכה הוא 100% מעצם ההגדרה: הרופא כותב את הרשומה כולה. ההשוואה אינה שוות-ערך, והיא מיטיבה עם הרופאים: רשימת העובדות שלנו סופרת כל עובדה רלוונטית וכל קליטה חלקית, בקפדנות רבה יותר מ-Weiner ואחרים; בדירוג בשיטה שלנו, שש רשומות של רופאים קיבלו 26 שגיאות כל אחת. נקודת ייחוס שוות-ערך מחייבת שקלינאים יכתבו רשומות לביקורים שלנו, שידורגו באופן עיוור יחד עם עוזרי התיעוד; טרם עשינו זאת.
- תצוגה מקדימה מקומית — רשומות Hanah הופקו מחדש ב-11 באוקטובר 2026 באמצעות GPT-6.1 Sol, ברמת חשיבה נמוכה: 50 רשומות על פני 10 ביקורים, חמש גרסאות תמלול שמורות לכל אחד. שני ביקורים ממתינים לרשומות Hanah חדשות. ה-WER וראיות התמלול שומרים על תאריכי הלכידה המקוריים שלהם; שאר עוזרי התיעוד שומרים על התוצאות הקיימות שלהם. הרשומות החדשות דורגו באופן עיוור על ידי Sonnet 5.5 ברמה בינונית (medium), ולאחר מכן עברו ביקורת סוכן לא עיוורת; התוצאות זמניות, ללא תיקוף בלתי תלוי של קלינאים. התזמונים של Hanah הם הערכות: ההמתנה לרשומה לפי ההנחיה מבוססת על משך היצירה הנמדד ב-API בתוספת 2 שניות מרווח מוכנות; הזמן עד רשומה סופית מוסיף זמן מוערך של בדיקה ותיקון. שניהם אינם כוללים את סיום עיבוד התמלול ואת התקורה של האפליקציה, עד להרצה חיה חוזרת.
- תצוגה מקדימה מקומית — רשומות Hanah הופקו מחדש ב-11 באוקטובר 2026 באמצעות GPT-6.1 Sol, ברמת חשיבה נמוכה: 50 רשומות על פני 10 ביקורים, חמש גרסאות תמלול שמורות לכל אחד. שני ביקורים ממתינים לרשומות Hanah חדשות. ה-WER וראיות התמלול שומרים על תאריכי הלכידה המקוריים שלהם; שאר עוזרי התיעוד שומרים על התוצאות הקיימות שלהם. הרשומות החדשות דורגו באופן עיוור על ידי Sonnet 5.5 ברמה בינונית (medium), ולאחר מכן עברו ביקורת סוכן לא עיוורת; התוצאות זמניות, ללא תיקוף בלתי תלוי של קלינאים. התזמונים של Hanah מעצירה ועד הרשומה ועד לאישור הסופי אינם זמינים, עד להרצה חיה חוזרת.
- רשומה אחת נספרת ככשל של המוצר: PatientNotes day5 בהרצה 2.
- RAM ממוצע ו-CPU ממוצע מגיעים ממבחן עומס נפרד — ביקור מיותרפיה רציף אחד בן 50 דקות, שבו כל עוזרי התיעוד מקליטים בו-זמנית על מכונה אחת — ולא מחבילת 12 המקרים שלעיל; הערכים המוחלטים משקפים את התחרות המשותפת הזו על המשאבים.
- יציבות הפלטפורמה לאורך הרצות חוזרות (לידיעה בלבד, לא מדורג): לכידת הביקורים בנושא אי-ספיקת לב ו-TIA דרשה מ-Lyrebird 17 ניסיונות כדי להשיג 10 הרצות שמישות. שבעה מהם נכשלו בצד של Lyrebird: שגיאה ביצירת רשומה שתלתה את האשמה ב"חיבור אינטרנט חלש" בזמן שחמישה עוזרי תיעוד אחרים הפיקו רשומות על אותו חיבור, חיבור שרת שנסגר, ארבע טעינות שלא היו שמישות בתוך 30 שניות, ורשומה שנעצרה באמצע הסעיף Subjective אך הוצגה כגמורה. לכידות אלה בוצעו מחדש. לאף עוזר תיעוד אחר לא היה כשל בצד האפליקציה בביקורים אלה.
- 1 Hanah: תצוגה מקדימה מקומית — רשומות Hanah הופקו מחדש ב-11 באוקטובר 2026 באמצעות GPT-6.1 Sol, ברמת חשיבה נמוכה: 50 רשומות על פני 10 ביקורים, חמש גרסאות תמלול שמורות לכל אחד. שני ביקורים ממתינים לרשומות Hanah חדשות. ה-WER וראיות התמלול שומרים על תאריכי הלכידה המקוריים שלהם; שאר עוזרי התיעוד שומרים על התוצאות הקיימות שלהם. הרשומות החדשות דורגו באופן עיוור על ידי Sonnet 5.5 ברמה בינונית (medium), ולאחר מכן עברו ביקורת סוכן לא עיוורת; התוצאות זמניות, ללא תיקוף בלתי תלוי של קלינאים. התזמונים של Hanah הם הערכות: ההמתנה לרשומה לפי ההנחיה מבוססת על משך היצירה הנמדד ב-API בתוספת 2 שניות מרווח מוכנות; הזמן עד רשומה סופית מוסיף זמן מוערך של בדיקה ותיקון. שניהם אינם כוללים את סיום עיבוד התמלול ואת התקורה של האפליקציה, עד להרצה חיה חוזרת..
- 2 CliniScripts: הרשומות דורגו לפי תבנית ברירת המחדל.
- 3 Lyrebird: 11 מקרים (ללא צרפתית).
- 4 Freed: הרשומות דורגו לפי תבנית ברירת המחדל.
להורדת כל הנתונים: קובץ JSON אחד עם הציונים, התמלולים, הרשומות ונימוקי חבר השופטים של כל הרצה, או הציונים של כל ההרצות כקובץ CSV.
ראש בראש
בחרו שני עוזרי תיעוד
כל חבל נמשך לעבר עוזר התיעוד שהצליח יותר במדד הזה. ככל שהסרט מתרחק מקו האמצע, הפער גדול יותר. הרצועה המוצללת מראה היכן הוא היה נוחת בין ההרצה הטובה ביותר להרצה הגרועה ביותר של כל עוזר תיעוד: רצועה רחבה פירושה תוצאות לא עקביות. המספרים הקטנים הם טווח ההרצות.
רמה אחת לעומק
תוצאות לפי מקרה קליני
כל ביקור משווה בין עוזרי התיעוד על אותו שמע בכל ההרצות שדורגו. פתחו ביקור כדי לקרוא את התמלול והרשומה של כל הרצה, כשכל שגיאה מסומנת.
ביקורים באנגלית
שישה מבחנים של ביקורים באנגלית.
ביקורים בשפות ספציפיות
השוואות נפרדות, עם החרגות לפי יכולת ופרשנות שמביאה בחשבון תרגום.
הכתבת רופא
הציון ניתן מול תמלולי ייחוס מילה במילה שנבנו ממפתחות התשובות של המוציא לאור. פקודות הכתבה מדוברות אינן נכללות בציון.
מבחן עומס של הפעלה ממושכת
הקלטת בדיקה סינתטית בת 50 דקות עם הסחות דעת ברקע. נכללת בתוצאות הכוללות.