从可观察的产品行为入手
首页文案应描述学习者可以验证的行为:系统提出问题,评估作答,说明哪些地方看起来扎实、哪些地方比较薄弱,并选择下一步。即使底层的提供商或模型版本发生变化,这些表述依然有用。
厂商名称不等于学习成果。说产品使用了前沿模型,并不能证明某个答案评分得当、某个错误概念被识别出来,或下一道题选得合适。因此,Robotutor 将模型身份视为实现层面的背景信息,而不是学习者体验证据的替代品。
- 优先陈述可见的学习循环,而不是使用“最好”“最聪明”“最强大”之类的形容词。
- 除非已部署的路由和权限能够证明可以使用某个具名模型,否则不要承诺提供该模型。
- 将涉及特定模型的论断放在带日期的资源页或公告页上,而不要放在长期不变的首屏文案中。
发布前使用论断台账
每一条重要的公开论断都应具备四项依据:确切的原句;支持它的实现或配置;当论断涉及厂商或研究结果时,一份外部来源;以及一位在来源变化时负责重新审视它的责任人。没有责任人的论断,即使曾经准确,也会变得过时。
例如,“答案由 AI 评分”这一表述可以与答案评估路由和浏览器演示相对应。而“某个具名模型向订阅用户开放”这一表述则需要更多依据:已部署的提供商配置、计费权限路径以及提供商当前的模型文档,三者都必须一致。
- 产品证据:路由、配置、评估或可复现的界面行为。
- 外部证据:原始研究、标准制定机构或提供商的官方文档。
- 审查触发条件:提供商变更、路由变更、定价变更,或相互矛盾的评估证据。
- 备用措辞:一句与提供商无关的表述,即使删去模型名称也依然成立。
区分能力与可靠性
模型可以展现出很强的通用能力,却仍可能给出错误的讲解、漏掉有歧义的问题,或对学习者的作答套用错误的评分标准。Robotutor 应将系统描述为自动化且可能出错的,不应把基准测试结果转化为对某一堂具体课程的保证。
可靠性来自模型周围的整套机制:有依据的上下文、明确的评分标准、结构化输出、适当情况下的重试、评估套件、学习者反馈以及产品限制。公开文案应让这一区别清晰可见,使读者明白为什么学习系统不仅仅是一个模型名称,以及为什么重要答案仍需独立核实。
定期审查具名模型的表述
涉及具名模型的页面应标明审校日期,并使用指向提供商当前文档的链接。当某个模型被停用、更名或替换时,页面要么应更新并附上实质性说明,要么应删除相应的具名论断。如果只改日期而不更新证据,只会让页面看起来更新鲜,却没有增加任何价值。
不变的承诺是:使用达到产品质量标准的模型来完成相应任务。可以调整的部分是:当前由哪家提供商的哪个模型达到该标准。这样的表述方式让产品得以不断改进,而不会使每一次基础设施变更都变成一个落空的营销承诺。
一项实用的发布前检查
在发布模型相关论断之前,请以持怀疑态度的学习者的视角来阅读它。问问这句话会让一个理性的人期待什么,这种期待能否在当前产品中复现,以及什么证据可以推翻它。如果答案取决于读者无法查看的内部信息,就应收窄论断范围并说明局限。
- 用户今天能否观察到所声称的行为?
- 来源是否最新、官方且附有链接?
- 措辞是否区分了“可能”与“保证”?
- 在提供商服务中断或路由回退期间,这句话是否依然如实?
- 是否有通过编辑政策提出更正的清晰途径?
局限性与适用范围
- 本页描述的是发布标准,并非对每一次模型回复的独立审计。
- 提供商文档和模型的可用性在审校日期之后可能发生变化。
- 基准测试并不保证准确性、教学质量,或对特定学习者的适用性。