Idée

Une IA qui range un objet nouveau applique les distinctions du système au lieu d'en découvrir de nouvelles

Idée principale

Quand un assistant propose pour un fichier un emplacement auquel son auteur n'aurait pas pensé — un guide de traduction placé à la tête de l'espace de travail plutôt qu'auprès du manuscrit —, l'histoire se raconte volontiers comme une découverte : la machine aurait mieux compris le système que celui qui l'a conçu.

Ce n'est pas ce qui se passe. Les distinctions employées étaient déjà écrites : une règle n'est pas une source, une note n'est pas un livrable, un document qui gouverne la production n'est pas lui-même ce qu'on produit. L'assistant les a appliquées à un objet sur lequel personne ne les avait encore appliquées, sans les pondérer par l'habitude ni par l'histoire du dossier. Il n'a rien trouvé qui n'était pas là ; il a exécuté le système à la lettre sur un cas neuf.

L'écart qui apparaît alors ne se situe pas entre la machine et l'humain, mais entre la définition écrite et la définition réellement pratiquée par celui qui l'a posée. C'est cet écart que la proposition rend visible, et c'est lui qui vaut d'être examiné.

Pourquoi c'est important

Cela évite deux lectures fausses et symétriques. La première prête à l'assistant une compréhension qu'il n'a pas, et transforme chacune de ses sorties en argument d'autorité. La seconde écarte la proposition parce qu'elle surprend, et manque l'information qu'elle contenait.

Cela dit aussi où porter l'attention quand une sortie étonne : non pas sur le raisonnement de la machine, qui n'a fait que dérouler, mais sur la définition qui l'a autorisé.

Nuances et limites

L'application littérale est aussi ce qui rend l'assistant faillible : les mêmes distinctions appliquées sans pondération produisent parfois un rangement absurde, et rien dans la forme de la réponse ne distingue les deux cas.

Et la démonstration suppose que le système ait été écrit. Face à des distinctions restées dans la tête de leur auteur, il ne reste que le vocabulaire général du modèle, qui produit des propositions plausibles sans rapport avec la logique du dossier.

Questions ouvertes

  • Comment reconnaître, devant une proposition qui surprend, si elle applique une distinction du système ou une convention générale que le modèle a apportée avec lui ?