Idée principale

Une réponse produite par un modèle à partir d'un dépôt peut affirmer qu'une règle existe sans rien montrer. Elle est alors une documentation approximative de plus — plus rapide et mieux tournée que la précédente, pas plus fiable. On a seulement remplacé la mémoire imparfaite d'un Product Manager par la mémoire probabiliste d'un modèle.

L'exigence qui change quelque chose est de rattacher chaque affirmation à un élément désignable : la fonction qui applique la règle, l'exception qui bloque le cas, le test qui couvre le scénario, la merge request qui a introduit le comportement, l'état du feature flag, la décision produit qui l'a arbitré.

Ce qui compte n'est pas que ces preuves soient lues. Un agent de support ou un commercial ne les ouvrira pas, et elles peuvent tenir en bas du document. Ce qui compte est qu'elles doivent exister : une réponse qui doit citer ne peut plus être produite par vraisemblance. La contrainte opère au moment de la production, pas au moment de la relecture — c'est ce qui la distingue d'une exigence de traçabilité, qui suppose un lecteur pour la vérifier.

Pourquoi c'est important

Cela déplace la vérification d'une étape humaine coûteuse, rarement faite, vers une propriété de la demande elle-même. On n'obtient pas la garantie qu'une réponse est juste ; on obtient qu'elle ne puisse pas être produite dans le vide.

Cela donne aussi la forme à donner à toute demande adressée à un modèle sur un corpus : exiger, pour chaque conclusion, l'élément du corpus sur lequel elle repose. Le même dispositif vaut pour l'analyse d'un ensemble de textes, où l'on demande la phrase ou le paragraphe qui soutient chaque conclusion.

Nuances et limites

Une preuve citée peut être mal choisie : une fonction qui existe n'est pas forcément celle qui s'exécute, un test qui passe n'établit pas que le cas soit couvert comme on le croit. La contrainte réduit l'affirmation gratuite, elle ne garantit pas la pertinence de l'appui.

Et une réponse copieusement sourcée gagne en autorité apparente, ce qui peut décourager la relecture qu'elle rendait précisément possible.

Questions ouvertes

• Qu'est-ce qui distingue une preuve qui établit vraiment le comportement d'une preuve seulement compatible avec l'affirmation ?