Idea

La tasa de error aceptable de una IA se fija por dominio, no en absoluto

Info

Escrito originalmente en francés. Traducido por IA — se ha preservado el sentido, no la prosa.

Idea principal

"¿Se equivoca la IA?" es una pregunta mal planteada: se equivoca, igual que se equivocaría la persona que llevara los mismos expedientes. La pregunta que decide está en otra parte — cuánto cuesta un error aquí, y cuánto vale lo que se obtiene a cambio.

Un agente que estructura quinientos correos de una comunidad de vecinos vincula de vez en cuando un presupuesto al proveedor equivocado, o funde dos entradas que no eran la misma persona. El error se repara reabriendo un correo, y se paga con horas de reconstrucción de hilos que ya no se hacen. El mismo agente sobre documentos bancarios no tiene ese margen: el error no se repara reabriendo un archivo, y ninguna ganancia de tiempo lo compensa. El umbral de tolerancia no es, por tanto, una propiedad del modelo, que es el mismo en ambos casos — es una propiedad de lo que un error destruye allí y de lo que deja recuperable.

Ese umbral también se desplaza por construcción. Conservar en el repositorio una copia de todos los correos en bruto, junto a la información agregada, cambia la naturaleza del error: deja de ser una pérdida y pasa a ser un rodeo, puesto que la fuente de verdad sigue siendo consultable directamente. El sistema estructurado es entonces un acelerador, nunca un sustituto — y es precisamente esa puerta de salida la que hace aceptable una tasa de error en un dominio donde no lo sería sin ella.

Por qué es importante

Esto saca del debate de principio sobre la fiabilidad de los modelos, que nunca llega a nada porque busca un umbral universal donde no lo hay. La pregunta que hay que hacerse antes de delegar un tratamiento de información se vuelve concreta y local: ¿qué destruye un error sobre esta materia, y por qué camino se vuelve atrás?

También da una palanca en lugar de una constatación. No basta con medir una tasa de error: se hace el dominio más tolerante manteniendo accesible la fuente bruta, lo que autoriza una delegación que esa misma tasa impediría en otro sitio.

Matices y límites

Un dominio no es homogéneo. Un correo de una comunidad de vecinos puede llevar un plazo de recurso o un requerimiento formal, y el umbral medio del dominio oculta entonces un subconjunto donde el error sale caro. El criterio debe bajar al tipo de información, no detenerse en el expediente.

Y la puerta de salida solo sirve si uno sabe que hay que tomarla. Un error que ninguna señal revela deja la fuente bruta intacta e inútil, porque nadie irá a consultarla.

Preguntas abiertas

  • ¿Quién fija el umbral cuando quien delega el tratamiento no es quien soportará el error?