Idea

Il lavoro decisivo di un'estrazione automatizzata è la taratura della soglia tra esaustività e pertinenza

Info

Scritto originalmente in francese. Tradotto dall'IA — il significato è stato preservato, non la prosa.

Idea principale

Far leggere libri e norme a una macchina e farle produrre note funziona fin dal primo tentativo. È la parte facile, ed è quella che si mette in conto.

Ciò che costa è la taratura. Una prima versione permissiva rileva troppo: molte note, rumore, qualità insufficiente. La versione successiva irrigidisce i filtri, la qualità diventa eccellente — e scompaiono note pertinenti, che pure la versione permissiva aveva visto. Nessuna posizione prende tutto ciò che conta senza prendere nient'altro; tarare significa scegliere da quale lato il sistema sbaglierà.

Questa taratura non si scrive in due righe di prompt. Prende la forma di diverse decine di righe di istruzioni: definizione precisa di ogni tipo di nota, criteri di validità, regole di rilevamento dei riferimenti normativi, passata terminologica finale.

Perché è importante

Rovescia la ripartizione dello sforzo che si prevede all'inizio. Si mettono a budget l'estrazione e la rilettura delle note; in pratica l'estrazione è acquisita da subito, ed è alle regole che deve andare il budget.

E indica dove sta il vero capitale. Le note si rifanno; l'insieme di regole che ha impiegato settimane a stabilizzarsi, no — è quello che va versionato, commentato e difeso.

Sfumature e limiti

La soglia giusta dipende da ciò che si farà della base. Un materiale destinato a essere ripassato ogni giorno tollera meno rumore di un materiale consultato su richiesta, dove una nota debole costa soltanto una riga di troppo.

E una soglia calibrata su un corpus di norme non si trasferisce tale e quale su un corpus di articoli d'opinione: ciò che le regole imparano è tanto il corpus quanto il criterio.

Domande aperte

  • In quale momento un irrigidimento smette di guadagnare in qualità più di quanto perda in copertura?