Notatki o możliwościach modeli dla twierdzeń publicznych

Zacznij od obserwowalnego działania produktu

Treść strony głównej powinna opisywać zachowanie, które uczący się może sprawdzić: system zadaje pytanie, ocenia odpowiedź, wyjaśnia, co wydaje się solidne, a co kruche, i wybiera kolejny ruch. Te stwierdzenia pozostają użyteczne nawet wtedy, gdy zmieni się dostawca lub wersja modelu.

Nazwa dostawcy nie jest efektem uczenia się. Stwierdzenie, że produkt używa najnowocześniejszego modelu, nie dowodzi, że dana odpowiedź została dobrze oceniona, że wykryto błędne przekonanie ani że kolejne pytanie było odpowiednie. Dlatego Robotutor traktuje tożsamość modelu jako kontekst wdrożeniowy, a nie jako zastępstwo dowodów dotyczących doświadczenia uczącego się.

• Wybieraj twierdzenia o widocznej pętli uczenia się zamiast przymiotników takich jak najlepszy, najmądrzejszy czy najpotężniejszy.
• Nie obiecuj dostępu do nazwanego modelu, jeśli wdrożone trasowanie i uprawnienia go nie potwierdzają.
• Twierdzenia dotyczące konkretnych modeli umieszczaj na opatrzonych datą stronach zasobów lub ogłoszeń, a nie w trwałych treściach nagłówka.

Przed publikacją użyj rejestru twierdzeń

Każde istotne twierdzenie publiczne powinno mieć cztery elementy dowodowe: dokładne zdanie, wdrożenie lub konfigurację, która je wspiera, źródło zewnętrzne, gdy twierdzenie dotyczy dostawcy lub wyniku badań, oraz osobę odpowiedzialną, która wróci do niego, gdy źródło się zmieni. Twierdzenie bez osoby odpowiedzialnej się dezaktualizuje, nawet jeśli kiedyś było trafne.

Na przykład stwierdzenie, że odpowiedzi są oceniane przez AI, można powiązać z trasą oceny odpowiedzi i pokazem w przeglądarce. Stwierdzenie, że nazwany model jest dostępny dla subskrybentów, wymaga więcej: zgodne muszą być wdrożona konfiguracja dostawcy, ścieżka uprawnień rozliczeniowych oraz aktualna dokumentacja modelu dostawcy.

• Dowód produktowy: trasa, konfiguracja, ewaluacja lub powtarzalne zachowanie interfejsu.
• Dowód zewnętrzny: badania pierwotne, organizacja normalizacyjna lub oficjalna dokumentacja dostawcy.
• Wyzwalacz przeglądu: zmiana dostawcy, zmiana trasowania, zmiana cen lub sprzeczne wyniki ewaluacji.
• Sformułowanie zapasowe: zdanie neutralne wobec dostawców, które pozostaje prawdziwe po usunięciu nazwy modelu.

Oddziel możliwości od niezawodności

Model może wykazywać duże ogólne możliwości, a mimo to podać błędne wyjaśnienie, przeoczyć niejednoznaczne pytanie lub zastosować niewłaściwe kryteria do odpowiedzi uczącego się. Robotutor powinien opisywać system jako zautomatyzowany i omylny i nie powinien zamieniać wyników testów porównawczych w gwarancje dotyczące pojedynczej lekcji.

Niezawodność wynika z otoczenia wokół modelu: osadzonego kontekstu, jasnych kryteriów oceniania, ustrukturyzowanych wyników, ponowień tam, gdzie to właściwe, zestawów ewaluacyjnych, opinii uczących się i ograniczeń produktu. Treści publiczne powinny uwidaczniać to rozróżnienie, aby czytelnicy rozumieli, dlaczego system uczenia to więcej niż nazwa modelu i dlaczego ważne odpowiedzi nadal wymagają niezależnej weryfikacji.

Regularnie sprawdzaj stwierdzenia o nazwanych modelach

Strony o nazwanych modelach powinny mieć datę weryfikacji i zawierać odnośniki do aktualnej dokumentacji dostawcy. Gdy model zostanie wycofany, przemianowany lub zastąpiony, stronę należy zaktualizować, podając merytoryczne wyjaśnienie, albo usunąć twierdzenie z nazwą. Zmiana samej daty bez zmiany dowodów sprawiałaby, że strona wyglądałaby na świeższą, nie zyskując na wartości.

Stałym zobowiązaniem jest używanie modeli, które spełniają poprzeczkę jakości produktu dla danego zadania. Zmienną częścią jest to, którzy dostawcy i modele ją obecnie spełniają. Takie ujęcie pozwala ulepszać produkt, nie zamieniając każdej zmiany w infrastrukturze w złamaną obietnicę marketingową.

Praktyczna kontrola przed publikacją

Przed opublikowaniem twierdzenia o modelu przeczytaj je jak sceptyczny uczący się. Zapytaj, czego rozsądna osoba oczekiwałaby po tym zdaniu, czy to oczekiwanie da się odtworzyć w obecnym produkcie i jakie dowody by je obaliły. Jeśli odpowiedź zależy od informacji wewnętrznych, których czytelnicy nie mogą sprawdzić, zawęź twierdzenie i wyjaśnij ograniczenie.

• Czy użytkownik może dziś zaobserwować opisane zachowanie?
• Czy źródło jest aktualne, oficjalne i podlinkowane?
• Czy sformułowanie odróżnia możliwość od gwarancji?
• Czy stwierdzenie pozostałoby uczciwe podczas awarii dostawcy lub zapasowego trasowania?
• Czy istnieje jasna ścieżka zgłaszania poprawek w ramach polityki redakcyjnej?