Poznámky k možnostem modelů pro veřejná tvrzení

Začněte pozorovatelným chováním produktu

Text na úvodní stránce by měl popisovat chování, které studující může ověřit: systém položí otázku, vyhodnotí odpověď, vysvětlí, co se zdá pevné a co křehké, a zvolí další krok. Tato tvrzení zůstávají užitečná, i když se změní podkladový poskytovatel nebo verze modelu.

Název dodavatele není výsledek učení. Tvrzení, že produkt používá špičkový model, nedokazuje, že konkrétní odpověď byla dobře ohodnocena, že byla odhalena mylná představa nebo že další otázka byla vhodná. Robotutor proto považuje identitu modelu za kontext implementace, nikoli za náhradu důkazů o zkušenosti studujícího.

• Dávejte přednost tvrzením o viditelném výukovém cyklu před přívlastky jako nejlepší, nejchytřejší nebo nejvýkonnější.
• Neslibujte přístup k pojmenovanému modelu, pokud jej nedokládá nasazené směrování a oprávnění.
• Tvrzení specifická pro modely uvádějte na datovaných stránkách zdrojů nebo oznámení, nikoli v trvalých úvodních textech.

Před zveřejněním používejte evidenci tvrzení

Každé podstatné veřejné tvrzení by mělo mít čtyři doklady: přesnou větu, implementaci nebo konfiguraci, která ji podporuje, externí zdroj, pokud se tvrzení týká dodavatele nebo výsledku výzkumu, a vlastníka, který se k němu vrátí, když se zdroj změní. Tvrzení bez vlastníka zastará, i když bylo kdysi přesné.

Například tvrzení, že odpovědi hodnotí umělá inteligence, lze navázat na trasu vyhodnocování odpovědí a ukázku v prohlížeči. Tvrzení, že pojmenovaný model je dostupný předplatitelům, vyžaduje víc: musí se shodovat nasazená konfigurace poskytovatele, cesta fakturačního oprávnění i aktuální dokumentace modelu od poskytovatele.

• Důkaz z produktu: trasa, konfigurace, hodnocení nebo reprodukovatelné chování rozhraní.
• Externí důkaz: primární výzkum, normalizační orgán nebo oficiální dokumentace poskytovatele.
• Spouštěč revize: změna poskytovatele, změna směrování, změna ceny nebo protichůdné důkazy z hodnocení.
• Záložní formulace: věta nezávislá na poskytovateli, která zůstane pravdivá, i když se název modelu odstraní.

Oddělujte schopnost od spolehlivosti

Model může prokázat silnou obecnou schopnost a přesto vytvořit nesprávné vysvětlení, přehlédnout nejednoznačnou otázku nebo použít na odpověď studujícího nesprávná kritéria hodnocení. Robotutor by měl systém popisovat jako automatizovaný a omylný a neměl by výsledky srovnávacích testů převádět na záruky pro jednotlivou lekci.

Spolehlivost pochází z prostředí kolem modelu: z podloženého kontextu, výslovných kritérií hodnocení, strukturovaných výstupů, opakovaných pokusů tam, kde je to vhodné, sad hodnocení, zpětné vazby studujících a omezení produktu. Veřejné texty by měly toto rozlišení zviditelnit, aby čtenáři pochopili, proč je výukový systém víc než název modelu a proč důležité odpovědi stále vyžadují nezávislé ověření.

Tvrzení o pojmenovaných modelech pravidelně přezkoumávejte

Stránky o pojmenovaných modelech by měly mít datum revize a používat odkazy na aktuální dokumentaci poskytovatele. Když je model vyřazen, přejmenován nebo nahrazen, stránka by se měla buď aktualizovat věcným vysvětlením, nebo by se měl pojmenovaný nárok odstranit. Změna samotného data bez změny důkazů by stránku jen zdánlivě omladila, aniž by přidala hodnotu.

Stálým závazkem je používat modely, které splňují laťku kvality produktu pro daný úkol. Proměnlivé je, který poskytovatel a model tuto laťku právě splňují. Díky tomuto pojetí se může produkt zlepšovat, aniž by se každá změna infrastruktury změnila v porušený marketingový slib.

Praktická kontrola před zveřejněním

Než zveřejníte tvrzení o modelu, přečtěte si ho očima skeptického studujícího. Ptejte se, co by věta rozumného člověka nechala očekávat, zda lze toto očekávání v současném produktu reprodukovat a jaký důkaz by ji vyvrátil. Pokud odpověď závisí na vnitřních informacích, které čtenáři nemohou ověřit, tvrzení zúžte a vysvětlete omezení.

• Může uživatel dnes tvrzené chování pozorovat?
• Je zdroj aktuální, oficiální a opatřený odkazem?
• Rozlišuje formulace možnost od záruky?
• Zůstalo by tvrzení poctivé při výpadku poskytovatele nebo záložním směrování?
• Existuje jasná cesta k opravě prostřednictvím redakčních zásad?