Hauptgedanke

Das Kontextfenster eines Sprachmodells ist endlich, das weiß jeder. Was man daraus ableitet, ist jedoch falsch: dass innerhalb dieser Grenze alles Gelieferte gleichermaßen verfügbar sei. Forscher aus Stanford haben das in Lost in the Middle (Liu et al., 2024) gemessen — eine Information am Anfang oder am Ende des Kontexts wird deutlich besser abgerufen als dieselbe Information, wenn sie in der Mitte vergraben ist.

Die praktische Folge betrifft eine weit verbreitete Gewohnheit: eine Datei mit dreitausend Zeilen zu laden in der Hoffnung, dass das Modell „alles versteht“. Das Modell lehnt nicht ab, meldet nichts und antwortet. Was leidet, ist nicht die Form der Antwort, sondern das, was sie tatsächlich berücksichtigt hat — und nichts in der Ausgabe verrät, was übersehen wurde.

Das Befüllen ist also nicht neutral. Jede Zeile, die man dem Kontext hinzufügt, erweitert nicht nur, was das Modell weiß: Sie schiebt das, was schon da war, weiter in die Mitte.

Warum das wichtig ist

Damit wird die von einem Anbieter angegebene Fenstergröße zu einer Maximalkapazität, nicht zu einer nutzbaren Kapazität. Ein doppelt so großes Fenster verdoppelt nicht, worauf das Modell tatsächlich zugreift, und wer in verfügbaren Tokens denkt, füllt bis zum Rand.

Das rechtfertigt auch eine Arbeit, die sonst überflüssig erschiene: aufteilen, gewichten und auswählen, was man liefert, obwohl technisch alles hineinpassen würde.

Nuancen und Grenzen

Der Effekt ist eine Eigenschaft der Modelle, die zu einem bestimmten Zeitpunkt beobachtet wurden, und sein Ausmaß schwankt von Architektur zu Architektur und von Generation zu Generation. Bleiben wird eher das Prinzip — Befüllen kostet Qualität — als die Zahl.

Und die Position erklärt nicht alles: Eine schlecht formulierte oder an anderer Stelle im Kontext widersprochene Information geht auch am Anfang eines Dokuments verloren.

Offene Fragen

• Wie erkennt man an einer plausiblen Antwort, dass eine dem Modell gelieferte Information nicht genutzt wurde?