Hauptgedanke

Wer die Regeln eines Systems verschärft, das automatisch Wissen extrahiert, verliert Dinge, ohne es zu merken: Was nicht mehr erzeugt wird, hinterlässt keine Spur. Man sieht, dass die Qualität gestiegen ist, nie, dass die Abdeckung gesunken ist.

Die Ausgabe der vorherigen Version dagegen hinterlässt eine Spur. Der verschärften Version die Notizen vorlegen, die der POC erzeugt hatte, und sie fragen, welche davon sie nicht mehr schreiben würde – und aufgrund welcher Regel sie sie aussortiert –, macht das Unsichtbare lesbar. Das als zu verrauscht eingestufte Korpus wird zum Kontrollbestand, und sein Wert liegt nicht in seiner Qualität, sondern darin, dass es vorher da war.

Angepasst werden dann nur die Regeln, die diese Fälle aussortiert haben, ohne die gerade gewonnene Strenge der Klassifikation preiszugeben.

Warum das wichtig ist

Es liefert einen konkreten Grund, die Ausgabe eines Prototyps nie wegzuwerfen, auch wenn man sie für schlecht hält: Sie ist das einzige Dokument, das belegt, was eine großzügigere Version zu sehen vermochte.

Und das Verfahren lässt sich auf jede Verschärfung eines Filters übertragen, sobald eine frühere Version ein vergleichbares Korpus erzeugt hat: Was zu Unrecht aussortiert wurde, misst man nicht absolut, sondern an einer Version, die es noch hervorgebracht hatte.

Nuancen und Grenzen

Die großzügige Version ist kein Maßstab der Wahrheit: Sie enthält Rauschen, und eine Notiz, die sie erzeugt hatte, ist nicht schon deshalb relevant, weil sie verschwunden ist. Das Verfahren benennt Kandidaten für eine erneute Prüfung, es fällt kein Urteil.

Vor allem begrenzt es den Rückschritt, ohne die Abdeckung zu messen: Was keine der beiden Versionen je gesehen hat, bleibt für beide unsichtbar.

Offene Fragen

• Woran erkennt man, was keine der aufeinanderfolgenden Versionen desselben Regelwerks je erfasst hat?