סקירות · פורסם
סקירת Heidi: עוזר התיעוד שנבדק ב-12 ביקורים
Heidi מהיר ולעיתים רחוקות ממציא פרטים, אך הרשומות שלו החמיצו כאחת מכל חמש עובדות קליניות, ואף אחת מהן לא הייתה מוכנה לאישור סופי ללא עריכה. בדקנו אותו מול חמישה עוזרי תיעוד רפואי מבוססי בינה מלאכותית אחרים על אותם 12 ביקורים מוקלטים, חמש פעמים כל אחד.
ממצאים עיקריים
- ל-Heidi נדרשו בממוצע 3 דקות ו-25 שניות מלחיצה על עצירה ועד רשומה סופית, כולל הבדיקה. זה המקום השני מתוך שישה, וכ-5 דקות מהר יותר מהחציון של 8.1 דקות שרופא מקדיש לכתיבת רשומה ידנית.
- בדיקה ותיקון של רשומת Heidi ארכו 2 דקות ו-58 שניות. מאמץ העריכה עמד על 22% מכתיבת הרשומה מאפס, המקום השני מתוך שישה.
- ל-Heidi נרשם בממוצע 1.0 סימון הזיה לרשומה, המקום השני מתוך שישה אחרי 0.8 של Hanah. מחקר שפורסם מצא 1.7 לכל רשומה שכתב רופא.
- הרשומות של Heidi כיסו 81% מהעובדות הקליניות שנאמרו בביקור, המקום הרביעי מתוך שישה.
- ל-Heidi נרשמו בממוצע 9.0 שגיאות ברשומה, כשעובדות שהוחמצו והזיות נספרות יחד. זה המקום השלישי מתוך שישה, אחרי Hanah עם 4.1 ו-Freed עם 8.3. מחקר שפורסם מצא 5.0 לכל רשומה שכתב רופא.
- אף אחת מ-60 הרשומות של Heidi לא הייתה מוכנה לאישור כפי שנכתבה.
- שיעור שגיאות המילים (WER) של Heidi היה 13.6%, המקום השלישי מתוך שישה. הוא ביצע 21.2 שגיאות תמלול משמעותיות קלינית בכל הרצה מלאה, יותר מפי שניים מ-Hanah (8.6) ומ-CliniScripts (9.0).
- Heidi צרך את כמות הנתונים הגדולה ביותר מבין כל עוזרי התיעוד בכל ביקור, 44.6 MB בממוצע, ואת כמות הזיכרון הגדולה ביותר במבחן העומס שלנו, 1.9 GB.
האם Heidi מדויק?
Heidi מתמלל היטב לפי שיעור שגיאות המילים, עם 13.6%, קרוב מאחורי CliniScripts (13.0%) ו-Hanah (12.8%). בתמלולים שלו היו יותר שגיאות משמעותיות קלינית ממה שהנתון הזה מרמז: 21.2 בכל הרצה מלאה של 12 ביקורים.
חלק מהשגיאות האלה הגיעו לרשומה. בביקור אי-ספיקת הלב הרופא שאל על metoprolol והמטופל תיקן אותו: bisoprolol. Heidi רשם metoprolol, חוסם הבטא השגוי, בארבע מחמש הרשומות שלו. בביקור התגובה האלרגית המילה "dizzy" (סחרחר) הפכה ל-"busy" (עסוק) בכל חמשת התמלולים, ואף אחת מהרשומות של Heidi לא תיעדה את הסחרחורת.
הרשומות של Heidi כיסו 81% מהעובדות הקליניות ונרשמו בהן בממוצע 9.0 שגיאות לרשומה. אם 70% מהשגיאות האלה אינן מתוקנות בבדיקה, כפי שדיווחו Biro ואחרים ב-2025, כ-630 שגיאות יגיעו לתיק הרפואי על כל 100 רשומות של Heidi, לעומת 500 ברשומות שכתבו רופאים.
האם Heidi הוזה?
Heidi המציא פחות פרטים מרוב עוזרי התיעוד שבדקנו. נרשם לו בממוצע 1.0 סימון הזיה לרשומה, כלומר פרט ברשומה שלא נאמר בביקור. ל-Hanah נרשמו 0.8, ל-CliniScripts 1.4, ל-Freed 2.5, ל-PatientNotes 2.6 ול-Lyrebird 3.4. ל-Heidi היו הכי מעט סימונים, או שחלק את המקום הראשון, בחמישה מתוך 12 הביקורים.
כמה מהיר Heidi?
המהירות היא החוזקה הגדולה ביותר של Heidi. רשומת Heidi אושרה סופית בממוצע 3 דקות ו-25 שניות לאחר סיום הביקור, כולל הזמן שהקלינאי צריך כדי לבדוק ולתקן אותה. רק Hanah היה מהיר יותר, עם 2 דקות ו-23 שניות. ל-CliniScripts נדרשו 4 דקות ו-3 שניות, ל-Lyrebird 4 דקות ו-6 שניות, ל-Freed 4 דקות ו-40 שניות ול-PatientNotes 5 דקות ו-39 שניות.
איך Heidi משתווה ל-Freed?
Heidi היה מהיר יותר והמציא פחות. Freed היה שלם יותר.
- הזמן עד רשומה סופית: Heidi 3 דקות ו-25 שניות, Freed 4 דקות ו-40 שניות.
- כיסוי קליני: Freed 87%, Heidi 81%.
- שגיאות ברשומה, לכל רשומה: Freed 8.3, Heidi 9.0.
- סימוני הזיה לכל רשומה: Heidi 1.0, Freed 2.5.
- שיעור שגיאות מילים: Heidi 13.6%, Freed 23.1%.
- נתונים לכל ביקור: Freed 17.1 MB, Heidi 44.6 MB.
איך Heidi משתווה ל-Hanah?
Hanah הקדים את Heidi בכל מדד שאנו עוקבים אחריו. הפערים הקטנים ביותר היו בשיעור שגיאות המילים (12.8% לעומת 13.6%) ובסימוני ההזיה (0.8 לעומת 1.0). הפער הגדול ביותר היה בכיסוי, 93% לעומת 81%. ל-Hanah נרשמו בממוצע 4.1 שגיאות לרשומה לעומת 9.0 של Heidi, הוא הגיע לרשומה סופית כדקה מוקדם יותר, וצרך כחמישית מכמות הנתונים.
איך Heidi משתווה ל-Lyrebird ול-CliniScripts?
Heidi הגיע לרשומה סופית מהר יותר משניהם. Lyrebird כיסה מעט יותר עובדות (82% לעומת 81%), אך נרשמו לו בממוצע 11.6 שגיאות ו-3.4 סימוני הזיה לרשומה, לעומת 9.0 ו-1.0 של Heidi. ל-CliniScripts היה שיעור שגיאות מילים נמוך מעט יותר והרבה פחות שגיאות תמלול משמעותיות (9.0 להרצה לעומת 21.2), אך נרשמו לו בממוצע 9.7 שגיאות לרשומה.
היכן Heidi מצליח במיוחד והיכן הוא חלש?
הביקור הטוב ביותר של Heidi היה מצב רוח ירוד, בתחום בריאות הנפש. היו לו הכי מעט סימוני הזיה מכל עוזרי התיעוד, שיעור שגיאות המילים הנמוך ביותר והמספר השני הנמוך ביותר של שגיאות ברשומה. היו לו גם הכי מעט סימונים בביקור חשד ל-TIA.
התחום החלש ביותר שלו היה קרדיולוגיה. בכאב בחזה Heidi דורג חמישי מתוך שישה הן בשגיאות ברשומה והן בכיסוי. אי-ספיקת לב, שבה שיעור שגיאות המילים שלו היה הנמוך מכל עוזרי התיעוד, היא דווקא המקום שבו הופיע חוסם הבטא השגוי. התוצאות לפי התמחות מופיעות במאמרים שלנו על קרדיולוגיה, בריאות הנפש ונוירולוגיה.
כמה נתונים וזיכרון Heidi צורך?
Heidi צרך כ-45 MB של נתונים לכל ביקור, הכמות הגדולה ביותר מבין כל עוזרי התיעוד בכל ביקור, ובסביבות 145 MB בביקור של 50 דקות. במבחן העומס שלנו הוא צרך בממוצע את כמות הזיכרון הגדולה ביותר, כ-1.9 GB, מעט יותר מ-Lyrebird. לכך יש משמעות בחיבור חלש או במחשב ישן. המאמר על רוחב הפס מסביר כיצד אנו מודדים זאת.
איך בדקנו
כל עוזר תיעוד שמע את אותם 12 ביקורים, חמש פעמים כל אחד. מדרג AI עיוור דירג כל רשומה מול רשימת עובדות של כל עובדה קלינית שנאמרה בביקור. הנתונים על רשומות שכתבו רופאים לקוחים ממחקרים שפורסמו: Weiner ואחרים 2020 לשגיאות לרשומה, ו-Apathy ואחרים 2023 לזמן הכתיבה. המבחן שלנו מחמיר יותר משלהם, וזה מיטיב עם הרופאים בהשוואה. התוצאות של Heidi בכל ביקור מופיעות בדף התוצאות שלו, והשיטה המלאה מופיעה באיך אנחנו בודקים.
תמלול הסרטון
הקריינות המלאה של Heidi - סקירה אמיתית. כל חותמת זמן פותחת את הסרטון בפרק המתאים.
0:00 מבוא
רוב הסקירות של עוזרי תיעוד מבוססי בינה מלאכותית נעצרות במסך: הממשק, התבניות, עד כמה הרשומה נראית מלוטשת. מעטות מאוד צוללות לעומק איכות הרשומות ודיוק התמלולים. Heidi הוא אחד מעוזרי התיעוד הרפואי המוכרים ביותר, והחלטנו לערוך סקירה טכנית — מה הוא שמע, מה הוא כתב, מה הוא החמיץ, וכמה זמן נדרש לקלינאי כדי לתקן אותו. לאחר מכן השווינו אותו לחמישה עוזרי תיעוד פופולריים אחרים.
0:24 כיצד בדקנו
כל עוזר תיעוד שמע את אותם שנים-עשר ביקורים, חמש פעמים כל אחד. מדרג AI עיוור דירג כל רשומה מול רשימה של כל עובדה קלינית שנאמרה. הנתונים של רשומות שכתבו רופאים לקוחים ממחקרים שפורסמו. המבחן שלנו מחמיר משלהם, ולכן ההשוואה הזו מיטיבה עם הרופאים.
0:40 מהירות
החוזקה הגדולה ביותר של Heidi היא המהירות. מלחיצה על עצירה ועד רשומה סופית, כולל הבדיקה, הממוצע שלו היה שלוש דקות ועשרים וחמש שניות. כתיבת הרשומה ידנית אורכת בחציון קצת יותר משמונה דקות, כך ש-Heidi חוסך כחמש דקות לכל רשומה.
0:54 מאמץ הבדיקה
בדיקה ותיקון של רשומת Heidi ארכו קצת פחות משלוש דקות. מאמץ העריכה הגיע לכ-22% מכתיבת הרשומה מאפס. בשני המדדים הוא דורג שני מתוך שישה.
1:03 הזיות
Heidi גם המציא מעט מאוד. הממוצע שלו היה סימון הזיה אחד לרשומה, רק מעט מאחורי 0.8 של Hanah והרבה לפני CliniScripts עם 1.4. זה נמוך מ-1.7 שדווחו עבור רשומות שכתבו רופאים, ול-Heidi היו הכי מעט סימונים, או שהוא חלק את המקום הראשון, בחמישה משנים-עשר הביקורים.
1:22 תמלול
שיעור שגיאות המילים שלו היה 13.6%, מעט מאחורי CliniScripts ו-Hanah, והרבה לפני Lyrebird, PatientNotes ו-Freed. אבל שגיאות תמלול משמעותיות מבחינה קלינית מספרות סיפור אחר: כ-21 בכל הרצה מלאה, יותר מפי שניים מ-Hanah ומ-CliniScripts, ורק מעט פחות מ-Freed.
1:40 שגיאות תמלול בהקשר
לשגיאות האלה יש החשיבות הרבה ביותר כשהן מגיעות לרשומה. בביקור בנושא אי-ספיקת לב, הרופא שאל על metoprolol, והמטופל תיקן אותו: bisoprolol. Heidi רשם metoprolol, חוסם הבטא השגוי, בארבע מתוך חמש הרשומות שלו. Lyrebird ו-PatientNotes עשו את אותה טעות. Hanah, Freed ו-CliniScripts לא.
לא כל החלקה עברה הלאה. התמלול של Heidi הפך את furosemide ל-"fruit" בכל פעם, ובכל זאת כל רשומה ציינה את furosemide. אבל בביקור בנושא תגובה אלרגית, "dizzy" (סחרחורת) הפך ל-"busy" בכל חמשת התמלולים, ואף אחת מהרשומות של Heidi לא תיעדה את הסחרחורת. CliniScripts קלט אותה בארבע מתוך חמש.
2:16 שלמות
החולשה העיקרית היא השלמות. הרשומות של Heidi קלטו כ-81% מהעובדות הקליניות, והחמיצו בערך אחת מכל חמש. זה מעט מאחורי Lyrebird ומעט לפני CliniScripts, אבל רחוק מ-Freed ומ-Hanah, ו-Heidi לא הוביל בכיסוי באף ביקור.
2:31 שגיאות ברשומה
בספירה משותפת של עובדות שהוחמצו והזיות, הממוצע של Heidi היה כתשע שגיאות לרשומה, מעט מאחורי Freed ולפני CliniScripts. המחקר שפורסם על רשומות שכתבו רופאים מצא חמש. ההרצות של Heidi נעו בין כשבע וחצי לעשר, ואף אחת מהרשומות שלו לא הייתה מוכנה לאישור סופי ללא עריכות.
2:50 שגיאות שמגיעות לתיק הרפואי
אם 70% מהשגיאות האלה אינן מתוקנות בבדיקה, כפי שדיווחו Biro ואחרים ב-2025, כ-630 שגיאות היו מגיעות לתיק הרפואי בכל מאה רשומות של Heidi, לעומת 500 ברשומות שכתבו רופאים.
3:02 המקרים הטובים והגרועים ביותר
התוצאות השתנו לפי התמחות. המקרה הטוב ביותר של Heidi היה הביקור בנושא מצב רוח ירוד, בתחום בריאות הנפש. היו לו הכי מעט סימוני הזיה מכל עוזרי התיעוד, שיעור שגיאות המילים הנמוך ביותר, מעט לפני CliniScripts, והמספר השני הנמוך ביותר של שגיאות ברשומה. היו לו גם הכי מעט סימונים בביקור בנושא חשד ל-TIA.
התחום החלש ביותר שלו היה קרדיולוגיה. בכאב בחזה הוא היה חמישי מתוך שישה הן בשגיאות ברשומה והן בכיסוי, לפני PatientNotes בלבד. ובאי-ספיקת לב, שבה שיעור שגיאות המילים שלו היה הנמוך מכולם, דווקא שם הופיע חוסם הבטא השגוי.
3:35 שימוש במשאבים
Heidi היה גם עוזר התיעוד הכבד ביותר שבדקנו. הוא צרך כ-45 מגה-בייט של נתונים לביקור, הכי הרבה מכל עוזרי התיעוד בכל ביקור, וכ-145 בביקור בן חמישים דקות. במבחן העומס שלנו, צריכת הזיכרון הממוצעת שלו הייתה הגבוהה ביותר, כ-1.9 ג׳יגה-בייט, מעט יותר מ-Lyrebird. לכך יש חשיבות בחיבור חלש או במחשב ישן.
3:56 היכן Heidi מדורג
אז היכן Heidi ממוקם בתחום? הוא דורג שני במהירות, בזמן הבדיקה, במאמץ העריכה ובהזיות. הוא היה שלישי בתמלול ובשגיאות ברשומה, רביעי בכיסוי ואחרון בשימוש בנתונים ובזיכרון.
4:08 Heidi מול Hanah
מול המוביל במבחן ההשוואה, Hanah, הפער ברור: Hanah הקדים אותו בכל מדד שאנו עוקבים אחריו. הקרובים ביותר היו שיעור שגיאות המילים וסימוני ההזיה. הרחב ביותר היה הכיסוי, 93% לעומת 81, ו-Hanah עשה פחות ממחצית השגיאות לרשומה. Hanah גם הגיע לרשומות סופיות כדקה מוקדם יותר, תוך שימוש בכחמישית מהנתונים.
4:28 Heidi מול השאר
מול ארבעת האחרים, Heidi הגיע לרשומה סופית מהר יותר מכולם. Freed קלט יותר עובדות ועשה מעט פחות שגיאות לרשומה, אבל נזקק ליותר מדקה נוספת. CliniScripts עקף את Heidi במעט בשיעור שגיאות המילים והיו לו הרבה פחות שגיאות תמלול משמעותיות, ובכל זאת השאיר יותר שגיאות ברשומות שלו. Lyrebird ו-PatientNotes פיגרו אחרי Heidi הן במהירות והן בשגיאות ברשומה.
4:50 השורה התחתונה
Heidi מהיר, ממציא פרטים לעיתים רחוקות, וגבר על כתיבת הרשומה ידנית בכחמש דקות. נקודות התורפה שלו הן השלמות, החלקות בתמלול שעלולות להגיע לרשומה, והשימוש הכבד ביותר בנתונים ובזיכרון שמדדנו. הוא במקום השני מתוך שישה במהירות ובהזיות, ובמקום השלישי בשגיאות ברשומה, מעט מאחורי Freed ולפני CliniScripts, Lyrebird ו-PatientNotes. כמו כל עוזר תיעוד שבדקנו, הרשומות שלו עדיין דורשות בדיקה קפדנית לפני שהן מאושרות סופית.
5:18 בדיקות נוספות
נוסיף מקרים נוספים, עוזרי תיעוד נוספים וניתוח מעמיק יותר של כל מוצר. הירשמו לערוץ כדי להתעדכן, ותנו לייק לסרטון אם הוא עזר לכם.
5:26 התוצאות המלאות
עיינו בתוצאות של Heidi, ביקור אחר ביקור, ב-ScribeStandard dot com.
הנתונים במאמר זה לקוחים ממבחן ההשוואה של ScribeStandard. ראו את התוצאות המלאות, את כל מבחן ואת אופן הבדיקה שלנו.