Notities over modelcapaciteit voor openbare beweringen

Begin met waarneembaar productgedrag

Teksten op de homepage moeten gedrag beschrijven dat een leerder kan verifiëren: het systeem stelt een vraag, beoordeelt het antwoord, legt uit wat solide of kwetsbaar lijkt en kiest een volgende stap. Die uitspraken blijven bruikbaar, ook als de onderliggende aanbieder of modelversie verandert.

De naam van een aanbieder is geen leerresultaat. Zeggen dat het product een toonaangevend model gebruikt, bewijst niet dat een bepaald antwoord goed is beoordeeld, dat een misvatting is opgemerkt of dat de volgende vraag passend was. Robotutor beschouwt de identiteit van het model daarom als implementatiecontext en niet als vervanging van bewijs over de ervaring van de leerder.

• Geef de voorkeur aan beweringen over de zichtbare leercyclus boven bijvoeglijke naamwoorden als beste, slimste of krachtigste.
• Beloof geen toegang tot een genoemd model, tenzij de ingezette routering en rechten die toegang bewijzen.
• Houd modelspecifieke beweringen op gedateerde bronnen- of aankondigingspagina’s in plaats van in tijdloze hero-teksten.

Gebruik een beweringenregister vóór publicatie

Elke wezenlijke openbare bewering moet vier bewijsstukken hebben: de exacte zin, de implementatie of configuratie die haar ondersteunt, een externe bron wanneer de bewering een aanbieder of onderzoeksresultaat betreft, en een eigenaar die haar opnieuw bekijkt wanneer de bron verandert. Een bewering zonder eigenaar veroudert, ook al was ze ooit juist.

Zo kan de uitspraak dat antwoorden door AI worden beoordeeld, worden gekoppeld aan de route voor antwoordevaluatie en een demonstratie in de browser. Een uitspraak dat een genoemd model beschikbaar is voor abonnees vraagt meer: de ingezette configuratie van de aanbieder, het pad voor abonnementsrechten en de actuele modeldocumentatie van de aanbieder moeten allemaal overeenkomen.

• Productbewijs: route, configuratie, evaluatie of reproduceerbaar UI-gedrag.
• Extern bewijs: primair onderzoek, normeringsinstantie of officiële documentatie van de aanbieder.
• Aanleiding voor herziening: wijziging bij de aanbieder, wijziging in de routering, prijswijziging of tegenstrijdig evaluatiebewijs.
• Terugvalformulering: een aanbiederneutrale zin die waar blijft als een modelnaam wordt verwijderd.

Scheid capaciteit van betrouwbaarheid

Een model kan sterke algemene capaciteiten tonen en toch een onjuiste uitleg geven, een dubbelzinnige vraag missen of de verkeerde rubriek toepassen op het antwoord van een leerder. Robotutor moet het systeem beschrijven als geautomatiseerd en feilbaar en mag benchmarkresultaten niet omzetten in garanties over een individuele les.

Betrouwbaarheid komt voort uit het raamwerk rond het model: onderbouwde context, expliciete beoordelingscriteria, gestructureerde uitvoer, waar nodig nieuwe pogingen, evaluatiesuites, feedback van leerders en productlimieten. Openbare teksten moeten dat onderscheid zichtbaar maken, zodat lezers begrijpen waarom het leersysteem meer is dan een modelnaam en waarom belangrijke antwoorden nog steeds onafhankelijk geverifieerd moeten worden.

Beoordeel uitspraken over genoemde modellen volgens een schema

Pagina’s over genoemde modellen moeten een beoordelingsdatum dragen en links gebruiken die naar de actuele documentatie van de aanbieder verwijzen. Wanneer een model wordt uitgefaseerd, hernoemd of vervangen, moet de pagina worden bijgewerkt met een inhoudelijke toelichting of moet de bewering over het genoemde model worden verwijderd. Alleen de datum wijzigen zonder het bewijs te wijzigen zou de pagina actueler doen lijken zonder waarde toe te voegen.

De vaste verplichting is om modellen te gebruiken die voldoen aan de kwaliteitsnorm van het product voor de taak. Het herzienbare deel is welke aanbieder en welk model op dat moment aan die norm voldoen. Met deze opzet kan het product verbeteren zonder dat elke infrastructuurwijziging een gebroken marketingbelofte wordt.

Een praktische controle vóór publicatie

Lees een bewering over een model voor publicatie als een sceptische leerder. Vraag wat de zin een redelijk persoon zou doen verwachten, of die verwachting in het huidige product kan worden gereproduceerd en welk bewijs haar zou weerleggen. Als het antwoord afhangt van interne informatie die lezers niet kunnen inzien, maak de bewering dan smaller en leg de beperking uit.

• Kan een gebruiker het beweerde gedrag vandaag waarnemen?
• Is de bron actueel, officieel en gelinkt?
• Maakt de formulering onderscheid tussen mogelijkheid en garantie?
• Zou de uitspraak eerlijk blijven bij een storing bij de aanbieder of een routeringsterugval?
• Is er via het redactiebeleid een duidelijk correctiepad?