Maquette sur corpus synthétique
Maquette de recherche documentaire sur dix clauses contractuelles
Une maquette de recherche documentaire construite sur dix clauses contractuelles synthétiques (confidentialité, données personnelles, sous-traitance, réversibilité…), de quelques lignes chacune. La recherche compare la fréquence des termes de la question à celle de chaque clause ; elle n'emploie ni découpage, ni modèle de représentation vectorielle, ni génération de réponse.
- Cadrage
- Dix clauses synthétiques ; quinze questions, chacune rattachée à la clause qui y répond et aux termes que la réponse doit contenir.
- Prototype
- Recherche par similarité de la fréquence des termes, sur la clause entière ; une évaluation automatique contrôle la clause retrouvée et la présence des termes attendus.
- Démonstration
- La bonne clause arrive en tête pour 13 questions sur 15. Score composite maison (0,6 × recherche + 0,4 × présence des termes attendus) : 0,867. Ce n'est pas une évaluation RAGAS.
Enseignements
- Les deux échecs portent sur des questions dont la réponse figure dans le corpus (durée de l'obligation de confidentialité, informations à documenter au titre du RGPD) : la recherche par termes n'a pas fait remonter la bonne clause.
- Le jeu ne comportait aucune question hors corpus : la capacité à refuser n'y était pas mesurée.
- Une évaluation utile contrôle à la fois le document retrouvé et le contenu de la réponse.
SourceCode, données et rapport publics : oppdrag-public-pocs, dossier poc-001-rag-juridique.