Idea principale

Restringere le regole di un sistema che estrae conoscenza in modo automatico fa perdere cose senza che ce ne si accorga: ciò che non viene più prodotto non lascia alcuna traccia. Si constata che la qualità è salita, mai che la copertura è scesa.

L'output della versione precedente, invece, una traccia la lascia. Dare alla versione irrigidita le note che aveva prodotto il POC e chiederle quali non scriverebbe più — e in base a quale regola le scarta — rende leggibile l'invisibile. Il corpus giudicato troppo rumoroso diventa un campione di controllo, e il suo valore non dipende dalla qualità ma dal fatto di essere venuto prima.

L'aggiustamento riguarda poi soltanto le regole che hanno scartato quei casi, senza rinunciare al rigore di classificazione appena acquisito.

Perché è importante

Offre una ragione concreta per non buttare mai l'output di un prototipo, anche quando lo si giudica scadente: è l'unico documento che attesta ciò che una versione più permissiva sapeva vedere.

E il procedimento si estende a qualunque irrigidimento di un filtro, purché una versione precedente abbia prodotto un corpus confrontabile: un falso negativo non si misura in assoluto, lo si misura rispetto a una versione che invece l'aveva prodotto.

Sfumature e limiti

La versione permissiva non è un metro di verità: contiene rumore, e una nota che aveva prodotto non è pertinente per il solo fatto di essere sparita. Il procedimento segnala candidati da riesaminare, non emette verdetti.

Soprattutto, circoscrive la regressione senza misurare la copertura: ciò che nessuna delle due versioni ha mai visto resta invisibile a entrambe.

Domande aperte

• Con che cosa individuare ciò che nessuna versione successiva di uno stesso sistema di regole ha mai rilevato?