公開聲稱嘅模型能力筆記

由可觀察到嘅產品行為開始

首頁文案應該描述學習者可以驗證嘅行為：系統提出問題、評估回應、講解邊啲部分穩固、邊啲部分脆弱，並揀選下一步。即使底層供應商或模型版本改變，呢啲陳述仍然有用。

供應商名稱並唔等於學習成果。話產品使用尖端模型，並不能證明某個答案評分得好、某個誤解被偵測到，或者下一條題目恰當。因此，Robotutor 將模型身份視為實施背景，而唔係取代有關學習者體驗嘅證據。

• 優先講述看得見嘅學習循環，而唔係「最好」、「最聰明」或「最強大」之類嘅形容詞。
• 除非已部署嘅路由同使用權限證明確實可以使用，否則唔好承諾提供某個指名模型。
• 有關特定模型嘅聲稱，應該放喺附有日期嘅資源或公告頁面，而唔係長期不變嘅首頁主視覺文案。

發佈前使用聲稱登記冊

每項重要嘅公開聲稱都應該有四項證據：確切嘅句子、支持該句子嘅實施或設定、當聲稱涉及供應商或研究結果時嘅外部來源，以及當來源改變時負責重新審視嘅負責人。冇負責人嘅聲稱，即使曾經準確，亦會變得過時。

例如，「答案由 AI 評分」呢個陳述可以連結到答案評估路由同瀏覽器示範。但係「訂閱者可以使用某個指名模型」呢個陳述就需要更多：已部署嘅供應商設定、計費使用權限路徑，以及供應商目前嘅模型文件，都需要互相吻合。

• 產品證據：路由、設定、評估，或者可重現嘅使用者介面行為。
• 外部證據：原始研究、標準制定機構，或供應商嘅官方文件。
• 審閱觸發條件：供應商更改、路由更改、價格更改，或者出現互相矛盾嘅評估證據。
• 備用措辭：一句不偏向任何供應商嘅句子，即使移除模型名稱仍然屬實。

區分能力同可靠性

一個模型可以展示出強大嘅整體能力，但仍然可能給出錯誤嘅講解、漏掉含糊嘅問題，或者對學習者嘅回應套用錯誤嘅評分準則。Robotutor 應該將系統描述為自動化而且會出錯，而唔應該將基準測試結果轉化為對個別課堂嘅保證。

可靠性來自模型周圍嘅整套配套：有依據嘅背景資料、明確嘅評分準則、結構化輸出、適當時嘅重試、評估測試組、學習者回饋，以及產品限制。公開文案應該令呢個分別清楚可見，讓讀者明白點解學習系統不只係一個模型名稱，以及點解重要嘅答案仍然需要獨立核實。

定期審閱指名模型嘅陳述

提及指名模型嘅頁面應該附有審閱日期，並使用指向供應商現行文件嘅連結。當模型被淘汰、改名或取代時，頁面應該附上實質說明作更新，否則就應該移除該指名聲稱。如果只更改日期而冇更改證據，只會令頁面睇落更新，卻冇增添價值。

不變嘅承諾係：使用符合產品對該任務質素要求嘅模型。可以修訂嘅部分，係目前由邊個供應商同邊個模型達到該要求。呢種框架令產品可以不斷改進，而唔會令每一次基礎設施變動都變成一個落空嘅宣傳承諾。

發佈前嘅實用檢查

發佈模型聲稱之前，請以持懷疑態度嘅學習者身份閱讀一次。問下呢句話會令一個理性嘅人預期啲乜、呢個預期喺現行產品入面能否重現，以及有咩證據可以推翻佢。如果答案取決於讀者無法查驗嘅內部資料，就應該收窄聲稱，並解釋限制。

• 用戶今日可以觀察到所聲稱嘅行為嗎？
• 來源係最新、官方，並附有連結嗎？
• 措辭有冇區分可能性同保證？
• 喺供應商故障或路由後備期間，呢個陳述仍然誠實嗎？
• 透過編輯政策有冇清晰嘅更正途徑？