Definição curta

Unidade de comparação de um consumo de modelo, obtida somando os tokens lidos e os tokens gerados depois de aplicar a tarifa de cada um: um para um token de entrada, cinco para um token de saída.

Definição detalhada

Duas contagens convivem nos relatórios de auditoria: o número de tokens, que descreve um volume, e o custo ponderado, que descreve uma despesa. As duas não classificam as etapas na mesma ordem.

Nos artigos deste blog, "custo ponderado" designa sempre a segunda e se expressa em "unidades". A conversão em dinheiro não faz parte dela: depende de uma tabela de preços datada e de um contrato.

Uso no domínio

Usado para comparar entre si operações de naturezas diferentes — leitura de arquivos, geração de documentos, chamada de script — e para expressar uma otimização em porcentagem de um total.

Sinônimos e variantes

"unidades", "custo ponderado total", às vezes "custo real" nos textos de divulgação.

Não confundir com

• tokens consumidos — contagem bruta de um volume de texto, sem aplicação de tarifa. Duas etapas de mesmo volume podem ter custos ponderados bem diferentes.
• custo em euros — valor faturado, produto de uma tabela de preços e de um contrato em uma data específica.
• Janela deslizante — capacidade de trabalho disponível em um período, que o custo ponderado vem consumir.

Exemplos

Um skill que lê 100 000 tokens e gera 20 000: 200 000 unidades.

Ambiguidades / debates

O fator cinco é uma média, exata para certos modelos em uma data específica. Algumas contagens acrescentam um desconto sobre a parte do contexto colocada em cache, outras ignoram isso.