Idea principal

La ventana de contexto de un modelo de lenguaje es finita, algo que todo el mundo sabe. Lo que se supone después es falso: que dentro de ese límite todo lo que se aporta esté igualmente disponible. Unos investigadores de Stanford lo midieron en Lost in the Middle (Liu et al., 2024) — una información colocada al principio o al final del contexto se recupera claramente mejor que la misma información enterrada en medio.

La consecuencia práctica afecta a un gesto muy extendido: cargar un archivo de tres mil líneas esperando que el modelo "lo entienda todo". El modelo no se niega, no avisa de nada y responde. Lo que se degrada no es la forma de la respuesta, es lo que realmente ha tenido en cuenta — y nada en la salida dice qué se ha pasado por alto.

El relleno no es por tanto neutro. Cada línea añadida al contexto no solo se suma a lo que el modelo sabe: empuja hacia el medio lo que ya estaba allí.

Por qué es importante

Esto convierte el tamaño de ventana anunciado por un proveedor en una capacidad máxima y no en una capacidad útil. Doblar la ventana no dobla aquello de lo que el modelo dispone realmente, y razonar en número de tokens disponibles lleva a llenar hasta el borde.

También justifica un trabajo que de otro modo parecería superfluo: dividir, jerarquizar y seleccionar lo que se aporta, aun cuando técnicamente todo cabría.

Matices y límites

El efecto es una propiedad de los modelos observados en un momento dado, y su magnitud varía de una arquitectura y una generación a otra. Lo que queda es el principio — el relleno tiene un coste de calidad — más que la cifra.

Y la posición no lo explica todo: una información mal formulada o contradicha en otro punto del contexto se pierde igual de bien al principio del documento.

Preguntas abiertas

• ¿Cómo detectar, sobre una respuesta plausible, que una información aportada al modelo no ha sido movilizada?