Idée principale

Faire lire des livres et des normes à une machine et lui faire produire des notes marche dès le premier essai. C'est la partie facile, et c'est celle qu'on anticipe.

Ce qui coûte est le réglage. Une première version permissive détecte trop largement : beaucoup de notes, du bruit, une qualité insuffisante. La version suivante durcit les filtres, la qualité devient excellente — et des notes pertinentes, que la version permissive avait pourtant vues, disparaissent. Aucune position ne prend tout ce qui compte sans rien prendre d'autre ; régler, c'est choisir de quel côté le système se trompera.

Ce réglage ne s'écrit pas en deux lignes de prompt. Il prend la forme de plusieurs dizaines de lignes d'instructions : définition précise de chaque type de note, critères de validité, règles de détection des références réglementaires, passe terminologique finale.

Pourquoi c'est important

Cela renverse la répartition de l'effort qu'on prévoit en démarrant. On budgète l'extraction et la relecture des notes ; en pratique, l'extraction est acquise d'emblée et le budget doit aller aux règles.

Et cela désigne où est l'actif. Les notes se refont ; le corps de règles qui a mis des semaines à se stabiliser, non — c'est lui qu'il faut versionner, commenter et défendre.

Nuances et limites

Le seuil juste dépend de ce qu'on fera de la base. Une matière destinée à être révisée tous les jours tolère moins de bruit qu'une matière consultée sur requête, où une note faible coûte seulement une ligne de trop.

Et un seuil calibré sur un corpus de normes ne se transporte pas tel quel sur un corpus d'articles d'opinion : ce que les règles apprennent est autant le corpus que le critère.

Questions ouvertes

• À quel moment un durcissement cesse-t-il de gagner en qualité plus qu'il ne perd en couverture ?