Gemessen: Was Modell und Effort kosten

Die Kurzfassung

• Geschwindigkeit trennt klar. Sonnet 5 low ist mit 7,5 s Median fast viermal schneller als Haiku 4.5 low mit 28,9 s.
• Tokenvolumen trennt noch klarer. Opus 5 low braucht 682 Output-Tokens pro Aufgabe, Haiku 4.5 low 4747 — Faktor 7.
• Qualität trennt nicht. 16 Fehlschläge auf 144 Läufe, Fisher exakt p = 0,18 für low gegen high. Die Aufgaben waren zu leicht, um zwischen den Modellen zu unterscheiden.
• Modelltier schlägt Effort-Stufe. Fable 5 auf low verbraucht mehr Limit als Opus 5 auf high.
• Der größte Hebel ist keiner davon — es ist der Session-Overhead. Dazu am Ende mehr.

Aufbau

Jede Zelle der Matrix ist ein eigener headless-Lauf in einem frischen Temp-Verzeichnis, das nur den Aufgabentext enthält:

claude -p "<Aufgabe>" \
  --safe-mode \
  --model claude-opus-5 \
  --effort low \
  --output-format json \
  --permission-mode bypassPermissions \
  --max-turns 25

Vier Entscheidungen, die das Ergebnis überhaupt erst aussagekräftig machen:

• --safe-mode schaltet CLAUDE.md, Skills, Plugins, Hooks und MCP ab. Ohne das misst man die eigene Konfiguration statt des Modells — bei aktiven Ausgabestil-Plugins verschiebt sich allein die Antwortlänge erheblich.
• Subscription-Auth erzwungen: der Runner entfernt ANTHROPIC_API_KEY und ANTHROPIC_AUTH_TOKEN aus der Child-Umgebung. Sonst läuft der Sweep über die metered API und verbraucht gar kein Limit — womit die interessanteste Größe wegfiele.
• Der Prüfer liegt außerhalb des Arbeitsverzeichnisses. Läge er darin, könnte der Agent die Assertions lesen und die erwarteten Werte hart codieren.
• Zwei Wiederholungen je Zelle, damit Lauf-zu-Lauf-Streuung überhaupt sichtbar wird.

Der Vertrag für alle Aufgaben ist identisch: Der Agent schreibt solution.py, danach bewertet ein Prüfskript sie von außen und gibt einen Score zwischen 0 und 1 zurück. Zehn Aufgaben, gemischt: Algorithmik mit Laufzeitgrenze, ein Bugfix mit Endlosschleife, Regex plus Kalenderlogik inklusive Schaltjahren, ein Constraint-Rätsel, ein Parser mit Fehlerfällen, römische Zahlen mit Ablehnung nicht-kanonischer Formen, Wahrscheinlichkeitsrechnung und Telefonnummern-Normalisierung nach E.164.

Die Matrix

Fresh-Tokens = output + input + cache_creation, also alles außer Cache-Reads: das Volumen, das Modell und Effort tatsächlich erzeugen. Die Spalte ist bewusst statt total_cost_usd gewählt — warum, steht weiter unten.

Zwei Beobachtungen, die nicht ins Klischee passen. Erstens ist Haiku 4.5 hier das langsamste Modell, nicht das schnellste: 28,9 s Median auf low, weil es mit Abstand am meisten schreibt. Der Geschwindigkeitsvorteil kleiner Modelle gilt pro Token, nicht pro Aufgabe — und wer viermal so viele Tokens produziert, ist trotz schnellerer Tokenrate am Ende langsamer.

Zweitens ist bei Haiku 4.5 high günstiger als low (3321 gegen 4747 Output-Tokens). Bei allen drei 5er-Modellen steigt der Verbrauch mit dem Effort wie erwartet um Faktor 1,6 bis 2,5. Haiku 4.5 stammt aus der Vorgängergeneration; das Effort-Flag wird angenommen, aber die Skalierung greift dort nicht sauber.

Warum die Qualitätsspalte nichts entscheidet

Die Score-Spalte sieht nach Ranking aus. Sie ist keines. 16 Fehlschläge auf 144 Läufe, pro Zelle null bis drei — Fisher exakter Test:

Beides weit von Signifikanz entfernt. Dazu kommt ein Deckeneffekt: Von neun ausgewerteten Aufgaben produzierten nur zwei überhaupt Fehlschläge. Die anderen sieben laufen bei jedem Modell durch und heben alle Mittelwerte gleichmäßig an — effektiv war das ein Zwei-Aufgaben-Benchmark.

Wie viel Limit kostet ein Lauf?

Claude Code hat keinen headless auslesbaren Limit-Zähler — /usage ist nur interaktiv (siehe Artikel 2). Ein Proxy lässt sich trotzdem kalibrieren, wenn man einen Beobachtungspunkt hat.

Der lag hier vor: Nach dem Sweep zeigte /usage 75 % des 5-Stunden-Fensters. Die 171 Läufe summieren sich auf 20,28 cost-equivalent und dürften grob 70 Prozentpunkte davon ausmachen — die Hauptsession, in der der Sweep gesteuert wurde, ist gegen 171 volle Sessions Rauschen. Daraus folgt: ein Prozentpunkt ≈ 0,29 cost-equivalent, das volle Fenster ≈ 29.

Die Spannweite beträgt Faktor 7,7 zwischen der teuersten und der billigsten Zelle. Und die Rangfolge zeigt: das Modelltier dominiert die Effort-Stufe. Fable 5 auf low kostet mehr Limit als Opus 5 auf high, Opus 5 auf low mehr als Sonnet 5 auf high. Wer sparen will, wechselt zuerst das Modell, nicht die Effort-Stufe.

Warum nicht einfach total_cost_usd?

Weil die Zahl von der Lauf-Reihenfolge abhängt, nicht nur vom Modell. Aus der Vorab-Probe:

fable-5 low   0,4081
fable-5 high  0,1545

Die Kosten sinken um Faktor 2,6, während der Effort steigt. Ursache ist nicht das Modell, sondern ob eine frühere Zelle den Prompt-Cache bereits gefüllt hatte: cache_creation kostet das 1,25-fache des Basispreises, cache_read ein Zehntel. Wer als Erster in einer Reihe läuft, zahlt den Aufbau; alle danach lesen billig. Das folgt dem Scheduling und der Parallelität des Sweeps — mit mehr Wiederholungen mittelt sich das nicht weg, weil es kein Rauschen ist, sondern ein systematischer Effekt.

Deshalb ranken die Tabellen oben nach Fresh-Tokens, und $ steht nur als Nebenspalte. Für den Limit-Schätzer ist die Summe über alle 171 Läufe verwendet — über den ganzen Sweep gemittelt fällt der Cache-Effekt weitgehend heraus, für eine Rangfolge einzelner Zellen taugt er nicht.

Was sich wann lohnt

Zur Effort-Wahl: low → high kostet rund das 1,4-fache an Limit und das 1,6-fache an Zeit. Bei Opus 5 hebt es die Pass-Rate von 16/18 auf 18/18 — der einzige Ort in dieser Messung, an dem sich der Aufschlag sichtbar auszahlt. Bei Haiku 4.5 ist high ohnehin die günstigere Wahl.

Der eigentliche Hebel

Die gesamte Modellwahl bewegt sich innerhalb eines Faktors von etwa 7. Der Session-Overhead bewegt mehr.

Jeder Lauf zahlt 50 000 bis 75 000 Input-Tokens allein für System-Prompt und Tool-Definitionen — unabhängig davon, wie klein die Aufgabe ist. Der eigentliche Aufgabentext liegt bei rund 200 Tokens. Über 90 % des Verbrauchs ist Session-Overhead, nicht Denkarbeit. --safe-mode schaltet CLAUDE.md und Skills ab, aber nicht den Basis-Prompt.

Praktisch heißt das: Eine lange Session mit warmem Cache schlägt zwanzig kalte Kurzsessions deutlicher, als irgendein Modellwechsel es je könnte. Das deckt sich mit dem, was Artikel 3 zur Cache-Wärme und Artikel 4 zum Session-Start beschreiben — hier ist es einmal beziffert.

Was diese Messung nicht zeigt

• Qualitätsrangfolge. Die Aufgaben waren zu leicht; p = 0,18 bis 0,23. Ein zweiter Sweep mit acht härteren Aufgaben wurde nach 27 von 144 Zellen abgebrochen — zu wenig für jede Aussage.
• Lange autonome Läufe. Jede Zelle war eine Aufgabe in wenigen Turns. Genau dort, wo Fable 5 und Opus 5 high ihre Stärken haben sollen, liegen keine Daten vor.
• Effort über zwei Stufen hinaus. Nur low und high; medium, xhigh und max fehlen.
• Tool-schwere Workloads. Zwei bis drei Turns pro Lauf. Wie sich die Modelle über zwanzig Tool-Calls verhalten, steht hier nicht.