Idea

La verificabilità di ciò che un'IA produce dipende dal numero di file che un umano può rileggere

Info

Scritto originalmente in francese. Tradotto dall'IA — il significato è stato preservato, non la prosa.

Idea principale

Lavorare con un'IA presuppone di poter verificare ciò che produce. Questa verifica non è un'intenzione: è un budget di lettura. Trenta o quaranta file nella directory dedicata a un'opportunità di prodotto si rileggono — in una mattinata un Product Manager può aprirli tutti, individuare ciò che non torna e firmare ciò che andrà a difendere. Diverse centinaia di note interconnesse non si rileggono, e sostenere il contrario significa non verificare più nulla.

Il numero non è quindi un dettaglio di implementazione: è il parametro che decide se l'audit esiste. Un sistema in cui l'audit è possibile in teoria ma impraticabile nei fatti si comporta esattamente come un sistema senza audit.

La conseguenza per la progettazione è netta: la dimensione del perimetro affidato a un'IA si sceglie in base alla capacità umana di rilettura, prima ancora che in base a ciò che sarebbe utile metterci.

Perché è importante

Trasforma una questione di fiducia in una questione di dimensionamento. «Ci fidiamo del modello?» non ha una risposta stabile; «quanti file rileggeremo davvero prima di decidere?» ce l'ha, e si misura.

Spiega anche perché far crescere una base assistita dall'IA può degradarne il valore: superata la soglia di rilettura, ogni file aggiunto aumenta ciò che non è più controllato.

Sfumature e limiti

Un campionamento, dei test automatici o una verifica mirata su ciò che sostiene la decisione possono spostare la soglia senza richiedere la rilettura integrale — al prezzo di un rischio assunto, non eliminato.

E la soglia non è universale: dipende dalla densità dei file quanto dal loro numero, e quaranta note fitte possono costare più di duecento righe di fatti.

Domande aperte

  • Come accorgersi che un perimetro ha appena superato la soglia oltre la quale nessuno lo rilegge più?