Ideia principal

Apertar as regras de um sistema que extrai conhecimento automaticamente faz você perder coisas sem saber: o que deixa de ser produzido não deixa rastro. Você constata a qualidade que subiu, nunca a cobertura que desceu.

A saída da versão anterior, essa sim, deixa rastro. Dar à versão endurecida as notas que o POC tinha produzido e perguntar a ela quais não escreveria mais — e com base em qual regra as descarta — torna o invisível legível. O corpus julgado ruidoso demais vira um conjunto de controle, e o valor dele não está na qualidade, mas na anterioridade.

O ajuste então recai só sobre as regras que descartaram esses casos, sem mexer no rigor de classificação que você acabava de conquistar.

Por que isso importa

Isso dá uma razão concreta para nunca jogar fora a saída de um protótipo, mesmo quando você a julga ruim: é o único documento que atesta o que uma versão mais permissiva sabia enxergar.

E o procedimento se transpõe para qualquer endurecimento de filtro, desde que uma versão anterior tenha produzido um corpus comparável: você não mede um falso negativo no absoluto, mede contra uma versão que o tinha produzido.

Nuances e limites

A versão permissiva não é um padrão de verdade: ela contém ruído, e uma nota que ela produziu não é pertinente só porque desapareceu. O procedimento sinaliza candidatos a reexame, não profere um veredicto.

Sobretudo, ele delimita a regressão sem medir a cobertura: o que nenhuma das duas versões jamais viu continua invisível para as duas.

Questões em aberto

• Como identificar aquilo que nenhuma versão sucessiva de um mesmo sistema de regras jamais detectou?