Idée principale

Resserrer les règles d'un système qui extrait automatiquement de la connaissance fait perdre des choses sans qu'on le sache : ce qui n'est plus produit ne laisse aucune trace. On constate la qualité montée, jamais la couverture descendue.

La sortie de la version précédente, elle, laisse une trace. Donner à la version durcie les notes qu'avait produites le POC et lui demander lesquelles elle n'écrirait plus — et sur quelle règle elle les écarte — rend l'invisible lisible. Le corpus jugé trop bruyant devient un jeu de contrôle, et sa valeur ne tient pas à sa qualité mais à son antériorité.

L'ajustement porte ensuite sur les seules règles qui ont écarté ces cas, sans revenir sur la rigueur de classification qu'on venait d'acquérir.

Pourquoi c'est important

Cela donne une raison concrète de ne jamais jeter la sortie d'un prototype, y compris quand on la juge mauvaise : c'est le seul document qui atteste de ce qu'une version plus permissive savait voir.

Et le procédé se transpose à tout durcissement de filtre, dès lors qu'une version antérieure a produit un corpus comparable : on ne mesure pas un faux négatif dans l'absolu, on le mesure contre une version qui, elle, l'avait produit.

Nuances et limites

La version permissive n'est pas un étalon de vérité : elle contient du bruit, et une note qu'elle avait produite n'est pas pertinente du seul fait qu'elle a disparu. Le procédé signale des candidats à réexaminer, il ne rend pas de verdict.

Surtout, il borne la régression sans mesurer la couverture : ce qu'aucune des deux versions n'a jamais vu reste invisible aux deux.

Questions ouvertes

• Par quoi repérer ce qu'aucune version successive d'un même système de règles n'a jamais détecté ?