Ideia principal

Quando uma IA gera notas a partir de fontes e as liga entre si, o erro que ela comete em uma nota não fica naquela nota. Os links o transportam: uma conclusão sobre uma oportunidade de produto se apoia em três notas, que por sua vez se apoiam em outras, e a nota falsa está em algum lugar dessa cadeia sem que nada sinalize isso.

É aí que está a diferença em relação a um erro num documento isolado. Um documento falso é lido, e o leitor tem chance de tropeçar nele. Um erro que foi ligado já virou premissa: ele chega ao fim da cadeia na forma de fato consolidado, livre de tudo o que teria permitido colocá-lo em dúvida.

O resultado concreto é defender uma oportunidade diante de um comitê apoiado em uma informação falsa que você não tem como detectar, porque nada na rede diz de onde ela vem nem que parte da análise se apoia nela.

Por que isso importa

Isso desloca a questão da qualidade das notas produzidas por uma IA para a questão de como elas são montadas. Uma taxa de erro baixa por nota continua aceitável enquanto as notas são lidas uma a uma; deixa de ser aceitável assim que elas se encadeiam, porque a probabilidade de uma cadeia conter pelo menos um erro cresce com o comprimento dela.

Isso também dá a razão pela qual a rastreabilidade — que nota se apoia em qual, e em que fonte — não é um conforto de organização, mas a condição para conseguir se retratar.

Nuances e limites

A propagação não é exclusiva da IA: uma nota humana falsa e ligada se propaga do mesmo jeito. O que a IA muda é o volume, logo o número de cadeias que nenhum humano leu.

E uma cadeia de notas também pode corrigir: uma nota posterior pode contradizer a falsa, desde que a contradição seja apontada em vez de acrescentada como mais um link.

Questões em aberto

• Que rastro uma nota precisaria carregar para que uma retratação subisse até tudo o que se apoiava nela?