Нотатки про можливості моделей для публічних тверджень

Почніть зі спостережуваної поведінки продукту

Текст головної сторінки має описувати поведінку, яку учень може перевірити: система ставить запитання, оцінює відповідь, пояснює, що виглядає міцним, а що крихким, і вибирає наступний хід. Ці твердження залишаються корисними, навіть коли змінюється постачальник або версія моделі.

Назва постачальника — це не навчальний результат. Заява, що продукт використовує передову модель, не доводить, що конкретну відповідь оцінено добре, що хибне уявлення виявлено чи що наступне запитання було доречним. Тому Robotutor розглядає ідентичність моделі як контекст реалізації, а не як заміну доказів про досвід учня.

• Віддавайте перевагу твердженням про видимий цикл навчання, а не прикметникам на кшталт «найкращий», «найрозумніший» чи «найпотужніший».
• Не обіцяйте доступ до названої моделі, якщо розгорнута маршрутизація та права доступу цього не підтверджують.
• Тримайте твердження про конкретні моделі на датованих сторінках матеріалів чи оголошень, а не у вічнозеленому головному тексті.

Перед публікацією ведіть реєстр тверджень

Кожне суттєве публічне твердження має мати чотири складники доказів: точне речення, реалізацію чи конфігурацію, що його підтримує, зовнішнє джерело, коли твердження стосується результату постачальника чи дослідження, і відповідальну особу, яка переглядатиме його, коли джерело зміниться. Твердження без відповідальної особи застаріває, навіть якщо колись було точним.

Наприклад, твердження, що відповіді оцінює ШІ, можна пов’язати з маршрутом оцінювання відповідей і демонстрацією в браузері. Твердження, що названа модель доступна підписникам, вимагає більшого: розгорнута конфігурація постачальника, шлях права доступу в біллінгу та актуальна документація постачальника щодо моделі мають збігатися.

• Докази продукту: маршрут, конфігурація, оцінювання або відтворювана поведінка інтерфейсу.
• Зовнішні докази: первинне дослідження, орган зі стандартів або офіційна документація постачальника.
• Привід для перегляду: зміна постачальника, зміна маршрутизації, зміна цін або суперечливі результати оцінювання.
• Запасне формулювання: нейтральне щодо постачальників речення, що залишається правдивим, якщо назву моделі прибрати.

Відокремлюйте можливості від надійності

Модель може демонструвати сильні загальні можливості й усе одно давати неправильне пояснення, пропустити неоднозначне запитання чи застосувати неправильний критерій до відповіді учня. Robotutor має описувати систему як автоматизовану та схильну до помилок і не перетворювати результати тестів продуктивності на гарантії щодо окремого уроку.

Надійність забезпечує оточення навколо моделі: підкріплений контекст, чіткі критерії оцінювання, структуровані результати, повторні спроби там, де доречно, набори для оцінювання, відгуки учнів і обмеження продукту. Публічний текст має робити цю відмінність видимою, щоб читачі розуміли, чому навчальна система — це більше, ніж назва моделі, і чому важливі відповіді все одно потребують незалежної перевірки.

Переглядайте твердження про названі моделі за графіком

Сторінки з названими моделями мають містити дату рецензування та посилання на актуальну документацію постачальника. Коли модель знімають з підтримки, перейменовують чи замінюють, сторінку слід або оновити змістовним поясненням, або прибрати твердження про названу модель. Зміна лише дати без зміни доказів зробила б сторінку свіжішою на вигляд, нічого не додавши до її цінності.

Сталим є зобов’язання використовувати моделі, що відповідають планці якості продукту для цього завдання. Змінною частиною є те, який постачальник і яка модель наразі цій планці відповідають. Така рамка дає змогу продукту вдосконалюватися, не перетворюючи кожну зміну інфраструктури на порушену маркетингову обіцянку.

Практична перевірка перед публікацією

Перш ніж публікувати твердження про модель, прочитайте його очима скептично налаштованого учня. Запитайте, чого це речення змусило б очікувати розсудливу людину, чи можна відтворити це очікування в поточному продукті та які докази його спростували б. Якщо відповідь залежить від внутрішньої інформації, яку читачі не можуть перевірити, звузьте твердження й поясніть обмеження.

• Чи може користувач сьогодні спостерігати заявлену поведінку?
• Чи є джерело актуальним, офіційним і підкріпленим посиланням?
• Чи розрізняє формулювання можливість і гарантію?
• Чи залишилося б твердження чесним під час збою постачальника або резервної маршрутизації?
• Чи є чіткий шлях виправлення через редакційну політику?