Idée

Un modèle qui compacte sa conversation choisit lui-même ce qu'il garde, et ne le signale pas

Idée principale

Une session de travail qui dure finit par dépasser ce que le modèle peut tenir en une fois. À ce moment, il ne s'arrête pas et ne prévient pas : il résume les échanges anciens pour faire de la place, et continue. L'opération est silencieuse et elle est faite par celui qui va s'en servir — c'est lui qui décide de ce qui méritait de survivre.

Ce qui est raboté n'est pas réparti au hasard. Ce qui a été écrit dans un fichier est indifférent à l'opération, puisqu'il ne vit pas dans la conversation. Ce qui disparaît est exactement la part qui n'avait pas encore atterri quelque part : une décision évoquée à l'oral, une nuance lâchée en passant, un arbitrage qu'on comptait consigner plus tard. Autrement dit, la compaction ne détruit jamais que le travail non déposé — mais elle le détruit entièrement, et sans marque.

La parade n'est donc pas d'empêcher la compaction, qui est inévitable, mais de la précéder. Forcer périodiquement l'écriture sur disque au cours d'une longue session garantit que ce qui compte est déjà sorti de la conversation quand le modèle se met à choisir. L'opération redevient alors ce qu'elle prétend être : un nettoyage de la mémoire de travail, sans conséquence sur la mémoire.

Pourquoi c'est important

Cela change la nature du risque qu'on croit courir avec une longue conversation. On redoute d'ordinaire l'oubli entre deux sessions, qui est visible et qu'on gère ; le risque réel est une perte à l'intérieur d'une seule session, indétectable parce que la conversation continue exactement comme si rien n'avait été retiré.

Cela donne aussi un moment précis où écrire, qui n'est ni la fin de session ni un rythme arbitraire : avant que la fenêtre ne sature, c'est-à-dire tant que la décision de ce qui compte appartient encore à quelqu'un.

Nuances et limites

Rien n'indique de l'extérieur que la compaction a eu lieu, ni quand. La consigne « pousser régulièrement » repose donc sur une estimation, et une session dense peut saturer bien avant le moment où l'on avait prévu de le faire.

Et l'écriture préventive ne protège que ce qu'on a jugé digne d'être écrit sur le moment : le tri est simplement passé du modèle à l'humain, il n'a pas disparu — avec cette différence que l'un des deux laisse une trace de son choix.

Questions ouvertes

  • Quel signal observable, du côté de l'utilisateur, permettrait de savoir qu'une compaction vient d'avoir lieu et sur quelle part de l'échange elle a porté ?