Ausgabenlimit und Notaus für einen KI-Agenten einbauen

Ein Agent ohne Limits ist eine Kreditkarte in der Hand eines sehr schnellen Praktikanten, der nie schläft. Meistens geht das gut. Einmal liefert ein Tool aber einen Fehler, den der Agent nicht versteht, er versucht es erneut, liest den Fehler, versucht es wieder und macht weiter, bis dein API-Guthaben aufgebraucht ist.

Ich betreibe viele Agenten, und meine Regel ist einfach: Kein Agent geht live, bevor er ein Ausgabenlimit, ein Schrittlimit und einen Notaus hat. Keines davon ist schwer einzubauen. Teuer wird es, wenn man sie weglässt.

Warum Agenten zu viel ausgeben

Ein normales Skript leistet jedes Mal gleich viel Arbeit. Ein Agent entscheidet selbst, wie viel Arbeit er leistet – genau dafür setzt man ihn ein. Genau darin liegt auch das Risiko. Vier Ursachen erklären fast alle außer Kontrolle geratenen Rechnungen:

1. Wiederholungsschleifen. Ein Tool schlägt fehl, der Agent versucht es mit leicht geänderter Eingabe erneut, scheitert wieder und wiederholt das.
2. Wachsender Kontext. Jeder Schritt erweitert die Unterhaltung, also kostet jeder Aufruf mehr als der vorherige. Ein Lauf mit 40 Schritten kostet weit mehr als das 40-Fache eines Laufs mit einem Schritt.
3. Fan-out. Der Agent startet Teilaufgaben, die ihrerseits weitere starten.
4. Ein Trigger, der zu oft feuert. Ein geplanter Job oder ein eingehender Webhook läuft 500-mal statt 5-mal.

Die Zahlen zu den Kosten pro Aufruf habe ich in AI agent cost math aufgeschlüsselt. Hier geht es um die Obergrenze, nicht um den Durchschnitt.

Limit 1: eine harte Ausgabengrenze

Lege für jeden Agenten zwei Zahlen fest: ein Maximum pro Lauf und ein Maximum pro Tag.

Orientiere dich daran, was die Aufgabe wert ist. Wenn ein Agent deinen Posteingang sortiert und dir täglich zwanzig Minuten spart, darf er nicht 40 $ in einem einzigen Lauf ausgeben. Ein guter Startwert ist das Fünffache eines normalen Laufs. Kostet ein typischer Lauf 20 Cent, begrenze einen Lauf auf 1 $ und einen Tag auf 10 $. Du kannst die Grenze anheben, sobald sie zum ersten Mal legitime Arbeit blockiert – ein gutes Problem.

Zwei Orte, an denen du das durchsetzt:

• Beim Anbieter. Setze in der Anthropic- oder OpenAI-Konsole ein monatliches Ausgabenlimit. Das ist dein Sicherheitsnetz und dauert zwei Minuten. Es stoppt den schlimmsten Fall, selbst wenn dein eigener Code fehlerhaft ist.
• Im eigenen Code. Führe während eines Laufs eine Summe der verbrauchten Tokens, rechne sie in Dollar um und stoppe, wenn die Grenze pro Lauf überschritten ist. Speichere die Tagessumme dauerhaft, damit ein Neustart sie nicht zurücksetzt.

Limit 2: eine maximale Schrittzahl

Ein Schrittlimit ist der einfachste Schutz und fängt Schleifen ab, die das Dollarlimit zu spät erwischt. Lege fest, wie viele Schritte ein gesunder Lauf höchstens braucht, addiere einen Puffer und stoppe dort.

Braucht dein längster normaler Lauf 12 Tool-Aufrufe, setze das Limit auf 25. Erreicht der Agent es, lass ihn nicht stillschweigend weitermachen. Beende den Lauf, protokolliere den Grund und schicke dir selbst eine Nachricht. Ein Lauf, der am Schrittlimit scheitert, ist ein Fehlerbericht – und den willst du lesen.

Dasselbe gilt für identische Wiederholungen: Ruft der Agent dreimal hintereinander dasselbe Tool mit derselben Eingabe auf, stoppe ihn. Das ist eine Schleife, kein Fortschritt.

Limit 3: ein Notaus ohne Deployment

Wenn nachts um zwei etwas schiefläuft, willst du keinen Code ändern, neu bauen und neu ausrollen. Du willst einen Schalter umlegen.

Ein Notaus ist ein einzelnes Flag, das der Agent zu Beginn jedes Schritts prüft, nicht nur zu Beginn eines Laufs. Sagt das Flag „stopp“, hält der Agent an. Wo das Flag liegt, ist weniger wichtig als die Tatsache, dass du es vom Handy aus ändern kannst: ein Schlüssel in einem Key-Value-Store, eine Zeile in einer Datenbank oder eine Umgebungsvariable, die deine Plattform ohne Neu-Deployment ändern lässt.

Achte auf diese Details:

• Prüfe es oft. Ein Flag, das nur beim Start gelesen wird, kann einen laufenden Lauf nicht stoppen.
• Mach das Stoppen sicher. Der Agent sollte die laufende Aktion beenden oder zurückrollen und keine halb gesendete E-Mail oder halb gebuchten Termin hinterlassen.
• Im Zweifel stoppen. Kann der Agent das Flag nicht lesen, hält er an. Ein defekter Flag-Speicher darf nicht unbegrenzte Ausgaben bedeuten.
• Teste es einmal. Lege den Schalter auf einer Staging-Kopie um und sieh zu, wie der Agent stoppt. Ein ungetesteter Notaus ist nur Hoffnung.

Eine verwandte Kontrolle, den Freigabeschritt, habe ich in human-in-the-loop agents behandelt. Freigabeschritte stoppen schlechte Aktionen. Limits stoppen schlechte Ausgaben. Du willst beides.

Alarme einrichten, damit du es zuerst erfährst

Limits schützen dein Budget, aber du musst trotzdem wissen, wann sie auslösen. Sende eine Nachricht bei 50 % und 80 % des Tageslimits und jedes Mal, wenn ein Lauf durch das Schrittlimit oder den Notaus beendet wird. Und lies sie. Ein Alarm, den du zu ignorieren gelernt hast, ist wertlos. Feuert einer ständig, behebe die Ursache oder passe das Limit an.

Wenn du außerdem jeden Schritt mit einer Trace-ID protokollierst, siehst du genau, welcher Lauf das Geld verbrannt hat. Dieses Setup beschreibe ich in how to debug an AI agent in production.

Prompt, der alle drei Limits einbaut

Das musst du nicht selbst schreiben. Öffne Claude in dem Ordner, in dem der Code deines Agenten liegt, und füge das ein:

Read my agent's code. Add three safety limits and show me every file you change:
1. A per-run and per-day spending cap, computed from token usage. Read the limits
   from configuration, and stop the run with a clear logged reason when either is hit.
2. A maximum step count per run, plus a stop if the same tool is called with the same
   input three times in a row.
3. A kill switch: a flag checked before every step that stops the agent safely.
   If the flag can't be read, the agent must stop.
Then list what you assumed about where the flag should live, and give me a short
checklist to test each limit on a non-production copy.

Prüfe das Ergebnis, bevor du ihm traust, in drei Punkten: Die Dollar-Rechnung muss die aktuellen Preise deines Modells verwenden (das Modell rät sie vielleicht), das Flag muss bei jedem Schritt gelesen werden, und du musst jedes Limit einmal ausgelöst und gesehen haben. Modelle schreiben gern ein Limit, das nie greift.

Beginne mit den strengsten Zahlen, mit denen du leben kannst

Setze die Limits am ersten Tag eng und lockere sie anhand von Belegen. Ein Limit, das einen legitimen Lauf blockiert, kostet dich ein paar Minuten. Ein fehlendes Limit kann dich ein Monatsbudget in einer Nacht kosten. Baue die Limits ein, bevor der Agent etwas Echtes anfasst, und der Rest des Projekts wird deutlich ruhiger.