Ves al contingut

Notes sobre la capacitat dels models per a afirmacions públiques

Els noms dels models d'IA canvien ràpidament, mentre que qui aprèn continua necessitant una explicació estable del que fa el producte. Aquesta nota documenta el mètode de revisió d'afirmacions proposat per a Robotutor abans que una afirmació sobre un model, una avaluació o un nivell de pagament aparegui en una pàgina pública.

Publicat el · Actualitzat el

Comença pel comportament observable del producte

El text de la pàgina d'inici ha de descriure un comportament que qui aprèn pugui verificar: el sistema fa una pregunta, avalua la resposta, explica què sembla sòlid o fràgil i tria el pas següent. Aquestes afirmacions continuen sent útils encara que el proveïdor o la versió del model canviïn.

El nom d'un proveïdor no és un resultat d'aprenentatge. Dir que el producte fa servir un model de frontera no demostra que una resposta concreta s'hagi corregit bé, que s'hagi detectat una concepció errònia o que la pregunta següent fos adequada. Per això, Robotutor tracta la identitat del model com a context d'implementació, no com a substitut de l'evidència sobre l'experiència d'aprenentatge.

  • Prefereix afirmacions sobre el cicle d'aprenentatge visible a adjectius com ara el millor, el més intel·ligent o el més potent.
  • No prometis l'accés a un model concret tret que l'encaminament desplegat i els drets d'accés demostrin aquest accés.
  • Mantén les afirmacions específiques d'un model en pàgines de recursos o d'anuncis amb data, no en el text principal permanent.

Fes servir un registre d'afirmacions abans de publicar

Cada afirmació pública rellevant ha de tenir quatre peces d'evidència: la frase exacta, la implementació o configuració que la sustenta, una font externa quan l'afirmació concerneix un proveïdor o un resultat de recerca, i una persona responsable que la revisarà quan la font canviï. Una afirmació sense responsable es queda obsoleta encara que hagi estat exacta.

Per exemple, l'afirmació que les respostes les corregeix una IA es pot vincular a la ruta d'avaluació de respostes i a una demostració al navegador. L'afirmació que un model concret està disponible per als subscriptors requereix més: la configuració desplegada del proveïdor, el camí del dret de facturació i la documentació actual del model del proveïdor han de coincidir.

  • Evidència del producte: ruta, configuració, avaluació o comportament reproduïble de la interfície.
  • Evidència externa: recerca primària, organisme de normalització o documentació oficial del proveïdor.
  • Desencadenant de revisió: canvi de proveïdor, canvi d'encaminament, canvi de preus o evidència d'avaluació contradictòria.
  • Redacció alternativa: una frase neutral respecte als proveïdors que continuï sent certa si se suprimeix el nom d'un model.

Separa la capacitat de la fiabilitat

Un model pot demostrar una gran capacitat general i, tot i això, produir una explicació incorrecta, passar per alt una pregunta ambigua o aplicar una rúbrica equivocada a la resposta d'un aprenent. Robotutor ha de descriure el sistema com a automatitzat i falible, i no ha de convertir els resultats de proves de referència en garanties sobre una lliçó concreta.

La fiabilitat prové de l'entorn que envolta el model: context fonamentat, criteris de correcció explícits, sortides estructurades, reintents quan escau, conjunts d'avaluació, comentaris de qui aprèn i límits del producte. El text públic ha de fer visible aquesta distinció perquè els lectors entenguin per què el sistema d'aprenentatge és més que el nom d'un model i per què les respostes importants encara necessiten una verificació independent.

Revisa periòdicament les afirmacions sobre models concrets

Les pàgines sobre models concrets han de dur una data de revisió i fer servir enllaços que apuntin a la documentació actual del proveïdor. Quan un model es retira, es canvia de nom o se substitueix, la pàgina s'ha d'actualitzar amb una explicació substancial o s'ha de suprimir l'afirmació sobre aquest model. Canviar només la data sense canviar l'evidència faria que la pàgina semblés més actual sense afegir-hi valor.

El compromís estable és fer servir models que compleixin el nivell de qualitat del producte per a la tasca. La part revisable és quin proveïdor i quin model compleixen ara aquest nivell. Aquest plantejament permet que el producte millori sense convertir cada canvi d'infraestructura en una promesa de màrqueting incomplerta.

Una comprovació pràctica abans de publicar

Abans de publicar una afirmació sobre un model, llegeix-la com ho faria una persona escèptica que aprèn. Pregunta't què faria esperar la frase a una persona raonable, si aquesta expectativa es pot reproduir al producte actual i quina evidència la refutaria. Si la resposta depèn d'informació interna que els lectors no poden inspeccionar, acota l'afirmació i explica la limitació.

  • Pot una persona usuària observar avui el comportament afirmat?
  • La font és actual, oficial i enllaçada?
  • La redacció distingeix la possibilitat de la garantia?
  • L'afirmació continuaria sent honesta durant una caiguda del proveïdor o un canvi d'encaminament alternatiu?
  • Hi ha un camí clar de correcció a través de la política editorial?

Limitacions i ús adequat

  • Aquesta pàgina descriu l'estàndard de publicació; no és una auditoria independent de cada resposta dels models.
  • La documentació dels proveïdors i la disponibilitat dels models poden canviar després de la data de revisió.
  • Les proves de referència no garanteixen l'exactitud, la qualitat pedagògica ni la idoneïtat per a una persona concreta que aprèn.