Angolo

Il consumo di un agente dotato di strumenti non si paga in euro ma in avvii persi: su una finestra scorrevole di cinque ore, uno skill da 478 000 unità impedisce il quarto avvio della giornata, ed è quell'avvio a costare. Un budget di token è quindi un vincolo di progettazione, deciso prima dell'esecuzione — in ciò che l'agente carica, ciò che rigenera, ciò che scrive da sé e nel livello del modello che lo fa — e non una voce di spesa sorvegliata a posteriori.

Sintesi

Le perdite, prese una per una, hanno una forma comune: quasi nessuna riguarda ciò che si chiede al modello di pensare. Riguardano ciò che gli si fa rileggere — un intero database per tre schede, uno storico completo per una novità, un file di istruzioni raddoppiato —, ciò che gli si fa scrivere quando uno script produrrebbe lo stesso risultato, e il livello di modello lasciato di default da un capo all'altro del workflow. La spesa, raramente, è l'intelligenza richiesta; è la movimentazione.

Il resto ne discende. Se la spesa è movimentazione, per costruzione si può decidere come ridurla, e la si ordina in quote di un totale più che in volumi grezzi. Poiché la decisione da prendere è una classifica e non una quantificazione, basta una stima con un margine del quindici per cento — e la stessa approssimazione impedisce di dimostrare a posteriori che un'ottimizzazione ha mantenuto le promesse. Infine, il tetto si sposta da solo: l'archivio cresce, il prompt si ingrossa, e uno skill passato all'audit una volta torna a essere un'incognita qualche settimana dopo.

Tensioni / contraddizioni

La modalità incrementale è presentata come il rimedio al legame con lo stock, e produce un debito tutto suo: ogni passata eredita le approssimazioni della precedente, il che impone periodicamente una rigenerazione completa. Le due esigenze non si conciliano, si alternano.

Altra tensione, dello stesso dispositivo contro se stesso: si giustifica con guadagni quantificati, e la sua precisione non permette di verificare che quei guadagni siano stati ottenuti. Ciò che misura serve a decidere, non a rendere conto.

Domande

• Quale rilevazione, fatta durante l'esecuzione, metterebbe in rapporto la spesa di uno skill con il lavoro utile che ha davvero prodotto?
• Come si ripartisce un tetto condiviso fra più persone senza che ciascuna si autocensuri in anticipo?