Idea principale

Quando un'IA genera note a partire da fonti e le collega tra loro, l'errore che commette in una nota non resta in quella nota. I collegamenti lo trasportano: una conclusione su un'opportunità di prodotto poggia su tre note, che poggiano a loro volta su altre, e la nota falsa è da qualche parte in quella catena senza che niente la segnali.

È questa la differenza con un errore in un documento isolato. Un documento sbagliato si legge, e il lettore ha qualche possibilità di inciamparci. Un errore che è stato collegato è già diventato una premessa: arriva in fondo alla catena sotto forma di fatto assodato, spogliato di ciò che avrebbe permesso di metterlo in dubbio.

Il risultato concreto è difendere un'opportunità davanti a un comitato basandosi su un'informazione falsa che non si ha alcun modo di individuare, perché niente nella rete dice da dove venga né quale parte dell'analisi poggi su di essa.

Perché è importante

Sposta la questione dalla qualità delle note prodotte da un'IA al modo in cui vengono assemblate. Un tasso di errore basso per nota resta accettabile finché le note si leggono una per una; smette di esserlo appena si concatenano, perché la probabilità che una catena contenga almeno un errore cresce con la sua lunghezza.

Spiega anche perché la tracciabilità — quale nota poggia su quale, e su quale fonte — non è una comodità di archiviazione ma la condizione per poter tornare sui propri passi.

Sfumature e limiti

La propagazione non è propria dell'IA: una nota umana sbagliata e collegata si propaga allo stesso modo. Ciò che l'IA cambia è il volume, quindi il numero di catene che nessun umano ha letto.

E una catena di note può anche correggere: una nota successiva può contraddire quella falsa, a condizione che la contraddizione venga rilevata invece di essere aggiunta come un collegamento in più.

Domande aperte

• Chi riaprirà una decisione già difesa in comitato per segnalare che poggiava su un'informazione falsa?