Idée

Dans un réseau de notes reliées, une note fausse contamine l'analyse sans laisser de trace

Idée principale

Quand une IA génère des notes à partir de sources et les relie entre elles, l'erreur qu'elle commet dans une note ne reste pas dans cette note. Les liens la transportent : une conclusion sur une opportunité produit s'appuie sur trois notes, qui s'appuient elles-mêmes sur d'autres, et la note fausse est quelque part dans cette chaîne sans que rien ne la signale.

C'est la différence avec une erreur dans un document isolé. Un document faux se lit, et le lecteur a une chance de buter dessus. Une erreur qui a été reliée est déjà devenue une prémisse : elle arrive au bout de la chaîne sous la forme d'un fait acquis, débarrassée de ce qui aurait permis de la mettre en doute.

Le résultat concret, c'est de défendre une opportunité devant un comité en s'appuyant sur une information fausse qu'on n'a aucun moyen de repérer, parce que rien dans le réseau ne dit d'où elle vient ni quelle part de l'analyse repose sur elle.

Pourquoi c'est important

Cela déplace la question de la qualité des notes produites par une IA vers la question de leur mode d'assemblage. Un taux d'erreur faible par note reste acceptable tant que les notes sont lues une par une ; il ne l'est plus dès qu'elles se chaînent, parce que la probabilité qu'une chaîne contienne au moins une erreur croît avec sa longueur.

Cela donne aussi la raison pour laquelle la traçabilité — quelle note s'appuie sur laquelle, et sur quelle source — n'est pas un confort de rangement mais la condition pour pouvoir se rétracter.

Nuances et limites

La propagation n'est pas propre à l'IA : une note humaine fausse et reliée se propage de la même façon. Ce que l'IA change est le volume, donc le nombre de chaînes qu'aucun humain n'a lues.

Et une chaîne de notes peut aussi corriger : une note ultérieure peut contredire la fausse, à condition que la contradiction soit relevée plutôt qu'ajoutée comme un lien de plus.

Questions ouvertes

  • Quelle trace faudrait-il porter dans une note pour qu'une rétractation remonte jusqu'à tout ce qui s'appuyait sur elle ?