Ideia

No custo de um agente, o que o modelo escreve pesa várias vezes mais do que o que ele lê

Info

Escrito originalmente em francês. Traduzido por IA — o sentido foi preservado, não a prosa.

Ideia principal

Dois fluxos atravessam um skill e eles não têm o mesmo preço. O que damos ao modelo para ler — arquivos, bases, instruções — conta como uma unidade. O que ele produz — análises redigidas, fichas, resumos — custa cerca de cinco vezes mais.

Um skill que lê 100 000 tokens e gera 20 000 não gasta, então, 120 000 unidades, e sim 200 000: metade do consumo dele vem dos 20 000 que ele escreveu. A auditoria de competitor_analyze mostra a mesma inversão em escala real — 206 000 tokens lidos contra 38 000 gerados e, ainda assim, a geração pesa quase metade das 478 000 unidades do total.

O volume bruto de tokens e o custo, portanto, não classificam as etapas na mesma ordem.

Por que isso importa

Isso muda a ordem das suspeitas quando você procura para onde vai uma cota: olhamos primeiro o que o agente redige, antes do que damos a ele para ler. Uma etapa de geração curta pode custar mais do que uma leitura massiva.

Isso também torna comparáveis operações de naturezas diferentes — abrir arquivos, escrever um relatório, chamar um script — dentro de uma única unidade.

Nuances e limites

A proporção de cinco é uma média de tabela de preços, exata para certos modelos numa data dada. As tabelas mudam, e um contrato específico pode ter outra.

E a ponderação não diz nada sobre a latência: a etapa mais cara não é necessariamente a que faz esperar.

Questões em aberto

  • Como ponderar uma entrada cuja parte está em cache e é cobrada mais barato que o resto?