Definizione breve

Unità di confronto del consumo di un modello, ottenuta sommando i token letti e i token generati dopo aver applicato a ciascuno la propria tariffa: uno per un token di input, cinque per un token di output.

Definizione dettagliata

Nei report di audit convivono due conteggi: il numero di token, che descrive un volume, e il costo ponderato, che descrive una spesa. I due non mettono le fasi nello stesso ordine.

Negli articoli di questo blog, «costo ponderato» indica sempre il secondo e si esprime in «unità». La conversione in denaro non ne fa parte: dipende da un listino datato e da un contratto.

Uso nel dominio

Si usa per confrontare fra loro operazioni di natura diversa — lettura di file, generazione di documenti, chiamata di uno script — e per esprimere un'ottimizzazione come percentuale di un totale.

Sinonimi e varianti

«unità», «costo ponderato totale», a volte «costo reale» nei testi divulgativi.

Da non confondere con

• token consumati — conteggio grezzo di un volume di testo, senza applicazione di tariffa. Due fasi dello stesso volume possono avere costi ponderati molto diversi.
• costo in euro — importo fatturato, risultato di un listino e di un contratto in una data precisa.
• Finestra scorrevole — capacità di lavoro disponibile su un periodo, che il costo ponderato va a consumare.

Esempi

Uno skill che legge 100 000 token e ne genera 20 000: 200 000 unità.

Ambiguità / dibattiti

Il fattore cinque è una media, esatta per alcuni modelli in un dato momento. Alcuni conteggi applicano uno sconto sulla parte del contesto messa in cache, altri lo ignorano.