Idea principale

Uno skill deve analizzare tre schede cliente. In mancanza di un filtro in ingresso, ne carica cinquecento. Il risultato è identico; la spesa no — circa 150 000 token di input per materiale che non servirà mai.

Il costo di una lettura non segue ciò che se ne ricava, segue ciò che si è messo nella finestra. Un agente non «dà un'occhiata»: tutto ciò che entra si paga, compreso quello che scarta subito.

Il lavoro di ottimizzazione si sposta di conseguenza: la domanda non è più come formulare meglio la richiesta, ma come interrogare il database — filtro, paginazione, selezione preliminare tramite script. La lettura condizionale va ancora oltre: non aprire affatto una fonte quando una condizione preliminare non è soddisfatta.

Perché è importante

Colloca il risparmio sul lato dell'accesso ai dati più che sul prompt, dove di solito lo si cerca.

E offre un sintomo riconoscibile in un report di audit: una fase di lettura il cui volume non ha alcun rapporto con il numero di elementi effettivamente trattati.

Sfumature e limiti

Filtrare presuppone di sapere in anticipo che cosa è pertinente. Quando la pertinenza è proprio ciò che l'esecuzione deve stabilire, la lettura ampia non è uno spreco: è il lavoro.

E una selezione impostata male è peggio di una lettura completa: produce una risposta plausibile su un materiale troncato, senza che nulla lo segnali.

Domande aperte

• Come misurare, a posteriori, quanta parte dei dati caricati ha davvero pesato sull'output?