Idee

Wer eine generierte Antwort zwingt, ihre Belege zu nennen, begrenzt, was sie sich zu behaupten erlaubt

Info

Ursprünglich auf Französisch verfasst. Von KI übersetzt — der Sinn wurde bewahrt, nicht der Stil.

Hauptgedanke

Eine Antwort, die ein Modell aus einem Repository erzeugt, kann behaupten, dass es eine Regel gibt, ohne irgendetwas vorzuzeigen. Dann ist sie nur eine weitere ungefähre Dokumentation — schneller und besser formuliert als die vorige, aber nicht verlässlicher. Man hat bloß das lückenhafte Gedächtnis eines Product Managers durch das wahrscheinlichkeitsbasierte Gedächtnis eines Modells ersetzt.

Was etwas verändert, ist die Forderung, jede Aussage an ein benennbares Element zu binden: die Funktion, die die Regel anwendet, die Ausnahme, die den Fall blockiert, den Test, der das Szenario abdeckt, den Merge Request, der das Verhalten eingeführt hat, den Zustand des Feature Flags, die Produktentscheidung, die darüber befunden hat.

Es kommt nicht darauf an, dass diese Belege gelesen werden. Jemand aus dem Support oder dem Vertrieb wird sie nicht öffnen, und sie können am Ende des Dokuments stehen. Es kommt darauf an, dass es sie geben muss: Eine Antwort, die zitieren muss, lässt sich nicht mehr nach Plausibilität erzeugen. Der Zwang wirkt beim Erzeugen, nicht beim Gegenlesen — das unterscheidet ihn von einer Forderung nach Nachvollziehbarkeit, die einen Leser voraussetzt, der nachprüft.

Warum das wichtig ist

Das verlagert die Prüfung von einem teuren, selten erledigten menschlichen Arbeitsschritt in eine Eigenschaft der Anfrage selbst. Man bekommt keine Garantie, dass eine Antwort stimmt; man erreicht, dass sie nicht ins Blaue hinein entstehen kann.

Es gibt auch die Form vor, die jede Anfrage an ein Modell über ein Korpus haben sollte: zu jeder Schlussfolgerung das Element des Korpus verlangen, auf dem sie beruht. Dasselbe Vorgehen gilt für die Auswertung einer Textsammlung, bei der man den Satz oder den Absatz verlangt, der jede Schlussfolgerung stützt.

Nuancen und Grenzen

Ein genannter Beleg kann schlecht gewählt sein: Eine Funktion, die existiert, ist nicht unbedingt die, die ausgeführt wird, und ein Test, der durchläuft, zeigt nicht, dass der Fall so abgedeckt ist, wie man glaubt. Der Zwang verringert die haltlose Behauptung, er garantiert nicht, dass die Stütze trägt.

Und eine reichlich belegte Antwort gewinnt an scheinbarer Autorität, was gerade das Gegenlesen entmutigen kann, das sie erst möglich gemacht hat.

Offene Fragen

  • Was unterscheidet einen Beleg, der das Verhalten wirklich nachweist, von einem Beleg, der mit der Aussage bloß vereinbar ist?