Évaluation ·
Ce qu'un refus nous a appris
Pour la démonstration de ce site, nous avons interrogé Knowledge AI sur un extrait de seize articles du Code du travail. Une question devait être refusée, deux devaient obtenir une réponse. Le résultat est plus instructif que prévu : il montre ce qu'un refus prouve, ce qu'il ne prouve pas, et comment le vérifier.
1. Le protocole
Le corpus réunit seize articles du Code du travail, publiés par Légifrance sous Licence Ouverte, en trois documents : entreprises extérieures et plan de prévention, risque chimique, évaluation des risques. Knowledge AI a été interrogé depuis sa branche principale, sur une base dédiée. Les réponses ont été produites par le modèle Ministral 3 8B, sur processeur seul.
Trois questions, telles qu'un dirigeant les pose. Les deux premières ont leur réponse dans le corpus. La troisième n'en a pas : « Que risque l'entreprise si le plan de prévention n'a pas été établi ? » Aucun des seize articles ne prévoit de sanction pour cette absence.
2. Cinq refus sur cinq
La troisième question franchit le contrôle préalable des preuves : tous ses termes figurent dans les passages retrouvés. La décision revient donc au modèle seul. Sur cinq essais menés à terme, deux par l'interface de programmation et trois dans l'interface du produit, il a refusé cinq fois.
Les six passages qu'il a lus traitent du plan de prévention et de l'évaluation des risques ; aucun ne prévoit de sanction pour l'absence de plan de prévention. Un modèle généraliste connaît vraisemblablement le droit du travail. Il n'a pas comblé ce silence avec ses connaissances générales : il s'est tu.
3. Ce que le refus ne prouvait pas
Le corpus contient une sanction chiffrée sur un sujet voisin : l'article R. 4741-1 punit l'absence de transcription de l'évaluation des risques, et non l'absence de plan de prévention. Nous avions d'abord présenté le refus comme la résistance à ce piège.
Avant de le publier, nous avons reconstitué le contexte réellement transmis au modèle. Le passage qui mentionne R. 4741-1 se termine sur l'intitulé de l'article ; son texte, la sanction elle-même, se trouve dans un fragment séparé, qui n'a pas été transmis. Le modèle n'a pas écarté la sanction : il ne l'a pas vue. Nous avons retiré ce récit.
La leçon vaut pour toute évaluation : un refus se lit avec ce que l'outil a réellement lu, et non avec ce que le corpus contient.
4. Deux refus à tort
Les deux questions qui avaient leur réponse dans le corpus ont été refusées, avant toute génération, par le contrôle des preuves. Ce contrôle mesure la part des termes de la question présents dans les passages retrouvés ; il refuse sous 25 % et ne répond qu'à partir de 50 %.
| Question | Termes retrouvés | Décision |
|---|---|---|
| « Un prestataire vient entretenir nos cuves de dégraissage la semaine prochaine. Que devons-nous formaliser avec lui ? » | 10 % | Refus |
| « L'un de nos solvants est classé cancérogène. Sommes-nous obligés de le remplacer ? » | 29 % | Refus |
| « Une entreprise extérieure va réaliser des travaux dans nos ateliers. Que devons-nous établir avec elle ? » | 63 % | Réponse autorisée |
| « Un agent chimique cancérogène est utilisé dans nos ateliers. Devons-nous le substituer ? » | 50 % | Réponse autorisée |
5. Les défauts consignés
Ces essais ont révélé cinq défauts du produit. Nous les avons consignés plutôt que contournés ; aucun réglage n'a été modifié pour la démonstration :
- le contrôle des preuves compare les mots et non le sens : « prestataire » au lieu d'« entreprise extérieure » suffit à faire refuser une question légitime ;
- le refus ne dit pas pourquoi l'outil se tait ;
- le découpage peut séparer l'intitulé d'un article de son texte : 6 articles sur 16 sont coupés ;
- la trace d'audit nomme le modèle déclaré dans la configuration, et non celui qui a répondu ;
- un PDF endommagé échoue sans motif visible, alors qu'un PDF protégé est désormais mis en quarantaine avec un motif compréhensible.
Un refus se vérifie
Un refus n'a de valeur que si l'on sait ce que l'outil a lu. Les scripts et les résultats de ces mesures sont conservés avec le code de ce site et présentés lors d'une démonstration. Ce qui ne se vérifie pas ne se publie pas.