Idee

Die akzeptable Fehlerquote einer KI legt man pro Bereich fest, nicht absolut

Info

Ursprünglich auf Französisch verfasst. Von KI übersetzt — der Sinn wurde bewahrt, nicht der Stil.

Hauptgedanke

„Irrt sich die KI?“ ist eine falsch gestellte Frage: Sie irrt sich, so wie sich auch die Person irren würde, die dieselben Vorgänge betreut. Die entscheidende Frage liegt woanders – was kostet hier ein Fehler, und was kostet das, was man im Gegenzug bekommt?

Ein Agent, der fünfhundert E-Mails einer Wohnanlage strukturiert, ordnet hin und wieder ein Angebot dem falschen Dienstleister zu oder legt zwei Einträge zusammen, die nicht dieselbe Person betrafen. Der Fehler lässt sich beheben, indem man eine E-Mail wieder öffnet, und ihm stehen die Stunden gegenüber, die man nicht mehr damit verbringt, Threads zu rekonstruieren. Derselbe Agent hat bei Bankdokumenten diesen Spielraum nicht: Dort lässt sich der Fehler nicht durch das Öffnen einer Datei beheben, und kein Zeitgewinn wiegt ihn auf. Die Toleranzschwelle ist also keine Eigenschaft des Modells, das in beiden Fällen dasselbe ist – sie ist eine Eigenschaft dessen, was ein Fehler dort zerstört und was er noch korrigierbar lässt.

Diese Schwelle lässt sich auch durch die Bauweise verschieben. Bewahrt man im Repository neben der aggregierten Information eine Kopie aller rohen E-Mails auf, ändert sich die Natur des Fehlers: Er ist kein Verlust mehr, sondern ein Umweg, denn die Quelle der Wahrheit bleibt direkt abfragbar. Das strukturierte System ist dann ein Beschleuniger, nie ein Ersatz – und genau dieser Ausweg macht eine Fehlerquote in einem Bereich akzeptabel, in dem sie es ohne ihn nicht wäre.

Warum das wichtig ist

Es führt aus der Grundsatzdebatte über die Zuverlässigkeit von Modellen heraus, die nie zu einem Ergebnis kommt, weil sie eine universelle Schwelle sucht, wo es keine gibt. Die Frage, die man stellen muss, bevor man eine Informationsverarbeitung delegiert, wird konkret und lokal: Was zerstört ein Fehler bei diesem Material, und auf welchem Weg findet man zum Richtigen zurück?

Es liefert auch einen Hebel statt einer bloßen Feststellung. Man begnügt sich nicht damit, eine Fehlerquote zu messen: Man macht den Bereich fehlertoleranter, indem man die rohe Quelle zugänglich hält, und erlaubt so eine Delegation, die dieselbe Quote anderswo verbieten würde.

Nuancen und Grenzen

Ein Bereich ist nicht homogen. Eine E-Mail aus der Wohnanlage kann eine Widerspruchsfrist oder eine förmliche Mahnung enthalten, und die durchschnittliche Schwelle des Bereichs verdeckt dann eine Teilmenge, in der ein Fehler teuer ist. Das Kriterium muss bis zur Art der Information hinunterreichen und darf nicht beim Vorgang stehen bleiben.

Und der Ausweg nützt nur, wenn man weiß, dass man ihn nehmen muss. Ein Fehler, den kein Signal verrät, lässt die rohe Quelle unberührt und nutzlos, weil niemand nachsehen wird.

Offene Fragen

  • Wer legt die Schwelle fest, wenn derjenige, der die Verarbeitung delegiert, nicht derjenige ist, der den Fehler ausbaden muss?