Idée principale
Dans un système de mémoire où tout ce que l'assistant écrit est reversé au stock de connaissance, une synthèse produite lundi est relue mercredi comme un fait acquis. L'assistant ne ment pas et ne triche pas : il lit ce que la base contient, et la base contient ce qu'il a lui-même écrit. Rien dans le fichier ne distingue une phrase issue d'un exposant rencontré sur un salon d'une phrase que l'assistant a formulée en synthétisant trois sources.
La boucle se referme sans bruit. Une approximation formulée une fois devient une prémisse la fois suivante, puis un appui pour une conclusion plus large — et la chaîne paraît d'autant plus solide qu'elle est cohérente avec elle-même.
C'est pourquoi un système de contexte tient une séparation stricte entre la source, la connaissance stabilisée, l'état courant, la synthèse et le livrable : chacun de ces registres dit un statut épistémique différent, et fusionner les cinq revient à perdre la trace de ce qui a été observé.
Pourquoi c'est important
Cela déplace la question de la qualité d'une mémoire d'agent. On la juge d'ordinaire sur ce qu'elle retient ; il faut aussi la juger sur ce qu'elle sait distinguer. Une mémoire qui conserve beaucoup mais ne marque pas l'origine de ce qu'elle conserve fabrique de la fausse confirmation à mesure qu'elle grossit.
Et cela donne un test simple à faire passer à n'importe quel dispositif de mémoire : à la lecture d'une entrée, peut-on dire qui l'a produite, un humain, une source externe ou le système lui-même ?
Nuances et limites
Le risque n'est pas propre aux machines : une équipe qui cite son propre document de synthèse plutôt que les entretiens qui l'ont nourri fait exactement la même chose. L'assistant en change seulement le rythme, parce qu'il produit beaucoup et vite.
Et la séparation a un coût : il faut refuser d'écrire dans la base une bonne formulation tant qu'elle n'a pas été qualifiée, ce qui se vit comme une perte au moment où on la trouve.
Questions ouvertes
- Comment repérer, dans une base déjà constituée sans cette séparation, les affirmations qui ne reposent que sur des productions antérieures du système ?