הערות על יכולות מודלים לטענות פומביות

מתחילים מהתנהגות מוצר שניתן לצפות בה

טקסט דף הבית צריך לתאר התנהגות שהלומד יכול לאמת: המערכת שואלת שאלה, מעריכה את התשובה, מסבירה מה נראה איתן ומה שביר, ובוחרת את המהלך הבא. הקביעות האלה נשארות שימושיות גם כשהספק או גרסת המודל שמאחור משתנים.

שם של ספק אינו תוצאת למידה. האמירה שהמוצר משתמש במודל חזית אינה מוכיחה שתשובה מסוימת נבדקה היטב, שתפיסה מוטעית זוהתה או ששאלה הבאה הייתה מתאימה. לכן Robotutor רואה בזהות המודל הקשר יישומי, ולא תחליף לראיות על חוויית הלומד.

• העדיפו טענות על מעגל הלמידה הנראה לעין על פני תארים כמו הטוב ביותר, החכם ביותר או החזק ביותר.
• אל תבטיחו גישה למודל בשמו אלא אם ניתוב מופעל וזכאויות מוכיחים את הגישה הזו.
• השאירו טענות ספציפיות למודל בדפי משאבים או הכרזות מתוארכים, ולא בטקסט פתיחה קבוע.

משתמשים ביומן טענות לפני הפרסום

לכל טענה פומבית מהותית צריכים להיות ארבעה פריטי ראיות: המשפט המדויק, המימוש או התצורה התומכים בו, מקור חיצוני כשהטענה נוגעת לספק או לתוצאת מחקר, ובעלים שיחזור אליה כשהמקור משתנה. טענה בלי בעלים הופכת מיושנת גם אם הייתה פעם מדויקת.

לדוגמה, ההצהרה שתשובות נבדקות בבינה מלאכותית יכולה להיות קשורה לנתיב הערכת התשובות ולהדגמה בדפדפן. הצהרה שמודל בשמו זמין למנויים דורשת יותר: תצורת הספק המופעלת, נתיב הזכאות בחיוב ותיעוד המודלים הנוכחי של הספק צריכים כולם להתיישב זה עם זה.

• ראיות מהמוצר: נתיב, תצורה, הערכה או התנהגות ממשק הניתנת לשחזור.
• ראיות חיצוניות: מחקר ראשוני, גוף תקינה או תיעוד רשמי של הספק.
• גורם לסקירה מחדש: שינוי ספק, שינוי ניתוב, שינוי תמחור או ראיות הערכה סותרות.
• ניסוח חלופי: משפט ניטרלי לגבי ספקים שנשאר נכון גם אם שם המודל מוסר.

מפרידים בין יכולת לאמינות

מודל יכול להפגין יכולת כללית חזקה ועדיין להפיק הסבר שגוי, לפספס שאלה דו-משמעית או ליישם מחוון שגוי על תשובת לומד. Robotutor צריך לתאר את המערכת כאוטומטית ובת טעות, ואין להפוך תוצאות מבחני ביצועים להבטחות לגבי שיעור מסוים.

האמינות נובעת מהמערכת העוטפת את המודל: הקשר מבוסס, קריטריוני ציון מפורשים, פלטים מובנים, ניסיונות חוזרים במקום המתאים, מערכי הערכה, משוב מלומדים ומגבלות מוצר. הטקסט הפומבי צריך להבהיר את ההבחנה הזו, כדי שהקוראים יבינו מדוע מערכת הלמידה היא יותר משם של מודל ומדוע תשובות חשובות עדיין דורשות אימות עצמאי.

סוקרים הצהרות על מודלים בשמם במועדים קבועים

דפים על מודלים בשמם צריכים לשאת תאריך סקירה ולהשתמש בקישורים המובילים לתיעוד הנוכחי של הספק. כשמודל פורש, משנה שם או מוחלף, יש לעדכן את הדף בהסבר מהותי או להסיר את הטענה על המודל בשמו. שינוי התאריך בלבד בלי לשנות את הראיות יגרום לדף להיראות עדכני יותר בלי להוסיף ערך.

ההתחייבות היציבה היא להשתמש במודלים שעומדים ברף האיכות של המוצר למשימה. החלק הניתן לשינוי הוא איזה ספק ואיזה מודל עומדים כעת ברף הזה. ניסוח כזה מאפשר למוצר להשתפר בלי להפוך כל שינוי תשתית להבטחה שיווקית שבורה.

בדיקה מעשית לפני פרסום

לפני פרסום טענה על מודל, קראו אותה כלומד ספקן. שאלו למה המשפט יוביל אדם סביר לצפות, האם אפשר לשחזר את הציפייה הזו במוצר הנוכחי, ואילו ראיות יפריכו אותו. אם התשובה תלויה במידע פנימי שהקוראים אינם יכולים לבדוק, צמצמו את הטענה והסבירו את המגבלה.

• האם משתמש יכול לצפות היום בהתנהגות הנטענת?
• האם המקור עדכני, רשמי ומקושר?
• האם הניסוח מבחין בין אפשרות להבטחה?
• האם ההצהרה תישאר כנה בזמן הפסקת שירות של ספק או מעבר לניתוב חלופי?
• האם יש נתיב תיקון ברור באמצעות מדיניות העריכה?