Hauptgedanke

PDFs in NotebookLM oder in eine ChatGPT-Unterhaltung laden und dazu Fragen stellen: Das Werkzeug findet die Stellen, die der Frage nahekommen, fügt sie zusammen, antwortet – und dann wird alles verworfen. Die nächste Frage beginnt wieder bei denselben Dokumenten.

Was fehlt, ist nicht Geschwindigkeit. Es ist das Zwischenprodukt. Eine Frage, für die fünf Dokumente miteinander abgeglichen werden müssen, verlangt diesen Abgleich jedes Mal aufs Neue, und ein Abgleich, der unter dem Druck einer Antwort entsteht, wiegt nicht auf, was man festgehalten, nachgelesen und korrigiert hätte. Die Ideen bleiben schwach, und zwar in einem genauen Sinn: Sie wurden einzeln aus jeder Quelle herausgezogen, ohne je einander gegenübergestellt zu werden.

Eine Synthese, eine Verknüpfung zwischen zwei Konzepten, ein Widerspruch, den man zwischen zwei Autoren bemerkt hat – solche Gegenstände existieren vor der Frage oder gar nicht. Kein Assistent stellt sie in dem Moment her, in dem man ihn befragt.

Warum das wichtig ist

Die Diagnose bestimmt die Abhilfe. Schreibt man die schwachen Antworten dem Modell zu, wechselt man es oder schreibt seine Prompts um – Arbeit, die an der Ursache nichts ändert. Schreibt man sie dem Fehlen jedes Artefakts zu, das zwischen zwei Fragen erhalten bleibt, baut man dieses Artefakt, und das ist ein Vorhaben ganz anderer Art.

Daraus ergibt sich auch ein Kriterium, um ein Werkzeug für die Dokumentenrecherche zu beurteilen: nicht, was es findet, sondern was es zurücklässt, sobald die Antwort gegeben ist.

Nuancen und Grenzen

Für eine Frage, die sich innerhalb eines einzigen Dokuments beantworten lässt, genügt das Zusammensetzen im Moment völlig, und Konsolidieren wäre Verschwendung. Der Unterschied zeigt sich erst dort, wo abgeglichen werden muss.

Und das aufbewahrte Artefakt birgt das umgekehrte Risiko: Es friert eine Lesart ein. Die nächste Frage erbt dann die Konsolidierung, die man vorgenommen hat, statt der Dokumente selbst.

Offene Fragen

• Wie schätzt man vor dem Bau ab, welcher Anteil der kommenden Fragen tatsächlich verlangen wird, mehrere Quellen abzugleichen?