Notes sur les capacités des modèles pour les affirmations publiques

Partir du comportement observable du produit

Le texte de la page d'accueil doit décrire un comportement qu'un apprenant peut vérifier : le système pose une question, évalue la réponse, explique ce qui paraît solide ou fragile et choisit la prochaine étape. Ces énoncés restent utiles même lorsque le fournisseur ou la version du modèle sous-jacent changent.

Le nom d'un fournisseur n'est pas un résultat d'apprentissage. Dire que le produit utilise un modèle de pointe ne prouve pas qu'une réponse donnée a été bien notée, qu'une idée fausse a été détectée ou que la question suivante était appropriée. Robotutor considère donc l'identité du modèle comme un contexte de mise en œuvre, et non comme un substitut à des preuves sur l'expérience de l'apprenant.

• Privilégier les affirmations sur la boucle d'apprentissage visible plutôt que des adjectifs tels que meilleur, plus intelligent ou plus puissant.
• Ne pas promettre l'accès à un modèle nommé, sauf si le routage déployé et les droits d'accès le prouvent.
• Réserver les affirmations propres à un modèle aux pages de ressources ou d'annonces datées plutôt qu'au texte permanent de la page d'accueil.

Utiliser un registre des affirmations avant de publier

Chaque affirmation publique importante doit s'appuyer sur quatre éléments : la phrase exacte, la mise en œuvre ou la configuration qui l'étaye, une source externe lorsque l'affirmation concerne un fournisseur ou un résultat de recherche, et un responsable qui la réexaminera quand la source changera. Une affirmation sans responsable devient obsolète, même si elle a été exacte un jour.

Par exemple, l'énoncé selon lequel les réponses sont notées par l'IA peut être rattaché à la route d'évaluation des réponses et à une démonstration dans le navigateur. Affirmer qu'un modèle nommé est accessible aux abonnés exige davantage : la configuration déployée du fournisseur, le circuit des droits de facturation et la documentation actuelle du fournisseur sur le modèle doivent tous concorder.

• Preuve produit : route, configuration, évaluation ou comportement reproductible de l'interface.
• Preuve externe : recherche primaire, organisme de normalisation ou documentation officielle du fournisseur.
• Déclencheur de réexamen : changement de fournisseur, de routage ou de tarif, ou résultats d'évaluation contradictoires.
• Formulation de repli : une phrase neutre vis-à-vis des fournisseurs qui reste vraie si le nom d'un modèle est retiré.

Séparer la capacité de la fiabilité

Un modèle peut démontrer une forte capacité générale et pourtant produire une explication incorrecte, passer à côté d'une question ambiguë ou appliquer une mauvaise grille à la réponse d'un apprenant. Robotutor doit décrire le système comme automatisé et faillible, et ne pas transformer des résultats de tests de référence en garanties pour une leçon individuelle.

La fiabilité vient de l'environnement qui entoure le modèle : contexte ancré dans des sources, critères de notation explicites, sorties structurées, nouvelles tentatives le cas échéant, suites d'évaluation, retours des apprenants et limites du produit. Les textes publics doivent rendre cette distinction visible afin que les lecteurs comprennent pourquoi le système d'apprentissage est plus qu'un nom de modèle et pourquoi les réponses importantes doivent encore être vérifiées de manière indépendante.

Réexaminer régulièrement les énoncés sur des modèles nommés

Les pages portant sur un modèle nommé doivent comporter une date de relecture et utiliser des liens vers la documentation actuelle du fournisseur. Lorsqu'un modèle est retiré, renommé ou remplacé, la page doit soit être mise à jour avec une explication de fond, soit voir l'affirmation nommée supprimée. Ne changer que la date sans modifier les éléments probants donnerait à la page un air plus récent sans apporter de valeur.

L'engagement durable est d'utiliser des modèles qui atteignent le niveau de qualité exigé par le produit pour la tâche. La partie révisable est de savoir quel fournisseur et quel modèle atteignent actuellement ce niveau. Cette approche permet au produit de s'améliorer sans transformer chaque changement d'infrastructure en promesse marketing rompue.

Une vérification pratique avant publication

Avant de publier une affirmation sur un modèle, lisez-la comme un apprenant sceptique. Demandez-vous à quoi la phrase ferait raisonnablement s'attendre, si cette attente peut être reproduite dans le produit actuel et quelles preuves l'infirmeraient. Si la réponse dépend d'informations internes que les lecteurs ne peuvent pas examiner, restreignez l'affirmation et expliquez la limite.

• Un utilisateur peut-il observer aujourd'hui le comportement annoncé ?
• La source est-elle actuelle, officielle et accompagnée d'un lien ?
• La formulation distingue-t-elle la possibilité de la garantie ?
• L'énoncé resterait-il honnête lors d'une panne du fournisseur ou d'un routage de repli ?
• Existe-t-il une voie de correction claire via la politique éditoriale ?