Ideia principal

A janela de contexto de um modelo de linguagem é finita, e todo mundo sabe disso. O que se supõe em seguida é falso: que, dentro desse limite, tudo o que é fornecido esteja igualmente disponível. Pesquisadores de Stanford mediram isso em Lost in the Middle (Liu et al., 2024) — uma informação colocada no início ou no fim do contexto é recuperada bem melhor do que a mesma informação enterrada no meio.

A consequência prática recai sobre um gesto muito comum: carregar um arquivo de três mil linhas esperando que o modelo "entenda tudo". O modelo não recusa, não sinaliza nada, e responde. O que se degrada não é a forma da resposta, é o que ela realmente levou em conta — e nada na saída diz o que ficou de fora.

O preenchimento não é, portanto, neutro. Cada linha acrescentada ao contexto não se soma apenas ao que o modelo sabe: ela empurra para o meio o que já estava ali.

Por que isso importa

Isso transforma o tamanho de janela anunciado por um fornecedor em uma capacidade máxima, e não em uma capacidade útil. Dobrar a janela não dobra aquilo de que o modelo realmente dispõe, e raciocinar em número de tokens disponíveis leva a encher até a borda.

Isso também justifica um trabalho que de outro modo pareceria supérfluo: recortar, hierarquizar e selecionar o que se fornece, mesmo quando tudo caberia tecnicamente.

Nuances e limites

O efeito é uma propriedade dos modelos observados em um dado momento, e sua magnitude varia de uma arquitetura e de uma geração para outra. O que permanece é o princípio — o preenchimento tem um custo de qualidade — mais do que o número.

E a posição não explica tudo: uma informação mal formulada ou contradita em outro ponto do contexto também se perde no topo do documento.

Questões em aberto

• Como detectar, diante de uma resposta plausível, que uma informação fornecida ao modelo não foi mobilizada?