Kurzdefinition

Vergleichseinheit für den Verbrauch eines Modells, gebildet aus der Summe der gelesenen und der erzeugten Tokens, nachdem ihr jeweiliger Tarif angewendet wurde: eins für ein Input-Token, fünf für ein Output-Token.

Ausführliche Definition

In Audit-Berichten stehen zwei Zählweisen nebeneinander: die Anzahl der Tokens, die ein Volumen beschreibt, und die gewichteten Kosten, die einen Verbrauch beschreiben. Beide bringen die Schritte nicht in dieselbe Reihenfolge.

In den Artikeln dieses Blogs bezeichnen „gewichtete Kosten“ immer das Zweite und werden in „Einheiten“ ausgedrückt. Die Umrechnung in Geld gehört nicht dazu: Sie hängt von einer datierten Preisliste und einem Vertrag ab.

Gebrauch im Feld

Verwendet, um Vorgänge unterschiedlicher Art miteinander zu vergleichen — Lesen von Dateien, Erzeugen von Dokumenten, Aufruf eines Skripts — und um eine Optimierung als Prozentsatz einer Gesamtsumme auszudrücken.

Synonyme und Varianten

„Einheiten“, „gewichtete Gesamtkosten“, in populären Darstellungen manchmal „reale Kosten“.

Nicht zu verwechseln mit

• verbrauchte Tokens — reine Zählung eines Textvolumens, ohne Tarif. Zwei Schritte gleichen Volumens können sehr unterschiedliche gewichtete Kosten haben.
• Kosten in Euro — der in Rechnung gestellte Betrag, Ergebnis einer Preisliste und eines Vertrags zu einem bestimmten Zeitpunkt.
• Gleitendes Zeitfenster — über einen Zeitraum verfügbare Arbeitskapazität, die von den gewichteten Kosten aufgezehrt wird.

Beispiele

Ein Skill, der 100 000 Tokens liest und 20 000 erzeugt: 200 000 Einheiten.

Mehrdeutigkeiten / Debatten

Der Faktor fünf ist ein Durchschnitt, der für bestimmte Modelle zu einem bestimmten Zeitpunkt stimmt. Manche Zählungen rechnen einen Rabatt auf den gecachten Teil des Kontexts ein, andere ignorieren ihn.