Scritto originalmente in francese. Tradotto dall'IA — il significato è stato preservato, non la prosa.
Idea principale
Una risposta prodotta da un modello a partire da un repository può affermare che una regola esiste senza mostrare nulla. Diventa allora l'ennesima documentazione approssimativa — più rapida e meglio formulata della precedente, non più affidabile. Si è solo sostituita la memoria imperfetta di un Product Manager con la memoria probabilistica di un modello.
L'esigenza che cambia le cose è agganciare ogni affermazione a un elemento preciso e verificabile: la funzione che applica la regola, l'eccezione che blocca il caso, il test che copre lo scenario, la merge request che ha introdotto il comportamento, lo stato del feature flag, la decisione di prodotto che l'ha stabilito.
Ciò che conta non è che queste prove vengano lette. Un operatore del supporto o un commerciale non le aprirà, e possono stare in fondo al documento. Ciò che conta è che debbano esistere: una risposta obbligata a citare non può più essere prodotta per verosimiglianza. Il vincolo agisce al momento della produzione, non al momento della rilettura — ed è questo a distinguerlo da un requisito di tracciabilità, che presuppone qualcuno che la verifichi.
Perché è importante
Sposta la verifica da un passaggio umano costoso, raramente fatto, a una proprietà della richiesta stessa. Non si ottiene la garanzia che una risposta sia giusta; si ottiene che non possa essere prodotta nel vuoto.
Dà anche la forma da dare a qualsiasi richiesta rivolta a un modello su un corpus: pretendere, per ogni conclusione, l'elemento del corpus su cui si appoggia. Lo stesso dispositivo vale per l'analisi di un insieme di testi, dove si chiede la frase o il paragrafo che sostiene ogni conclusione.
Sfumature e limiti
Una prova citata può essere scelta male: una funzione che esiste non è per forza quella che viene eseguita, un test che passa non dimostra che il caso sia coperto come si crede. Il vincolo riduce l'affermazione gratuita, non garantisce la pertinenza dell'appiglio.
E una risposta riccamente documentata guadagna in autorità apparente, il che può scoraggiare proprio la rilettura che rendeva possibile.
Domande aperte
- Che cosa distingue una prova che stabilisce davvero il comportamento da una prova soltanto compatibile con l'affermazione?