Idea

Una IA cuyas producciones se convierten en conocimientos puede invocar sus propias salidas como prueba

Info

Escrito originalmente en francés. Traducido por IA — se ha preservado el sentido, no la prosa.

Idea principal

En un sistema de memoria donde todo lo que el asistente escribe se vuelca al stock de conocimiento, una síntesis producida el lunes se relee el miércoles como un hecho consolidado. El asistente no miente ni hace trampas: lee lo que la base contiene, y la base contiene lo que él mismo ha escrito. Nada en el archivo distingue una frase procedente de un expositor conocido en una feria de una frase que el asistente ha formulado al sintetizar tres fuentes.

El bucle se cierra sin hacer ruido. Una aproximación formulada una vez se convierte en premisa a la siguiente, después en apoyo para una conclusión más amplia — y la cadena parece tanto más sólida cuanto más coherente es consigo misma.

Por eso un sistema de contexto mantiene una separación estricta entre la fuente, el conocimiento estabilizado, el estado actual, la síntesis y el entregable: cada uno de esos registros expresa un estatus epistémico distinto, y fundir los cinco equivale a perder el rastro de lo que se observó.

Por qué es importante

Esto desplaza la cuestión de la calidad de una memoria de agente. Normalmente la juzgamos por lo que retiene; hay que juzgarla también por lo que sabe distinguir. Una memoria que conserva mucho pero no marca el origen de lo que conserva fabrica falsa confirmación a medida que crece.

Y da una prueba sencilla que aplicar a cualquier dispositivo de memoria: al leer una entrada, ¿se puede decir quién la ha producido, un humano, una fuente externa o el propio sistema?

Matices y límites

El riesgo no es exclusivo de las máquinas: un equipo que cita su propio documento de síntesis en vez de las entrevistas que lo alimentaron hace exactamente lo mismo. El asistente solo le cambia el ritmo, porque produce mucho y deprisa.

Y la separación tiene un coste: hay que negarse a escribir en la base una buena formulación mientras no esté calificada, lo que se vive como una pérdida justo en el momento en que se encuentra.

Preguntas abiertas

  • ¿Cómo detectar, en una base ya constituida sin esa separación, las afirmaciones que solo se apoyan en producciones anteriores del sistema?