12 Stunden Promptcache: Wann lohnt sich das Schreiben?

OpenAI ergänzte am 20. Oktober die 12-Stunden-Option für Promptcaching. (OpenAI)

Erst das wiederverwendbare Material identifizieren

Ein sinnvoller Kandidat ist ein stabiler Kontextblock, den mehrere erlaubte Anfragen unverändert benötigen. Ein laufend umgeschriebenes Dokument oder eine wechselnde Fallakte kann dagegen häufiger neue Schreibvorgänge verursachen. Für die Planung sollten stabile Anweisungen und veränderliche Aufgabeninformationen getrennt sichtbar sein.

Die Dokumentation nennt einen Schreibpreis von 2,5-mal normalem Input, passende Präfixe und modellabhängige Unterstützung. 12 Stunden sind eine Mindestlebensdauer, kein Löschtermin; ältere Retention-Parameter sind nicht gleichbedeutend. Ein Vorteil hängt von tatsächlicher Wiederverwendung ab. (OpenAI)

Eine einfache Rechnung mit ausdrücklich begrenzten Annahmen

Betrachten wir einen gleich grossen, vollständig wiederverwendeten Präfixblock. B bezeichnet dessen normalen Inputpreis, W den relativen Schreibpreis und R den relativen Lesepreis des konkreten Modells. Ausgabekosten, veränderlicher Kontext und sonstige Kosten bleiben als C_rest gesondert stehen. Die folgende Rechnung ist eine Herleitung, keine von KIURO gemessene Last.

Für gleich grosse vollständige Präfixblöcke:
C_cache = B × (w × W + h × R + u) + C_rest
C_normal = B × N + C_rest
N = w + h + u

w = Cache-Schreibvorgänge
h = vollständige Cache-Lesetreffer
u = ungecachte Verarbeitungen ohne Cache-Schreibung

Sonderfall: genau einmal schreiben, danach nur Treffer
C_cache / B = W + (N - 1) × R
Vorteil gegenüber N normalen Verarbeitungen, falls:
N > (W - R) / (1 - R), bei R < 1

Für den dokumentierten Schreibfaktor W = 2,5 bleibt R vor einer konkreten Rechnung aus dem aktuellen Tarif des unterstützten Modells zu bestimmen. Erst dann lässt sich die Ungleichung in eine Anzahl von Wiederverwendungen übersetzen. Ein einzelner erfolgreicher Cache-Lesevorgang ist kein Beweis, dass eine ganze Tageslast die Annahmen erfüllt.

Wo die einfache Rechnung aufhört

Bei teilweisen Treffern müssen tatsächlich berechnete Tokenanteile statt bloss Anfragen gezählt werden. Wenn ein vermeintlicher Treffer einen neuen Schreibvorgang auslöst, steigt w statt h. Bei mehreren verschiedenen Präfixen wird jeder Block separat betrachtet und anschliessend summiert. Die Kosten von Ausgaben und übriger Verarbeitung verschwinden dadurch nicht.

Mit derselben Aufgabe vergleichen

Eine Entscheidung für längere Dauer sollte denselben zulässigen Promptaufbau und dieselbe Aufgabe vergleichen. Wenn gleichzeitig Modell, Dokumentlänge und Ausgabeanforderungen wechseln, lässt sich eine Kostendifferenz nicht dem Cache zuschreiben. Beobachten Sie ausserdem fehlgeschlagene oder wiederholte Aufrufe; sie können das reale Mengengerüst verändern.

1. Einen repräsentativen, nicht sensiblen Kontextblock für den Versuch wählen.
2. Unterstützung, Tarif und Datenbedingungen des konkreten Modells prüfen.
3. Schreib-, Lese- und ungecachte Tokenanteile mit Zeitfenster protokollieren.
4. Gesamtkosten und Aufgabenergebnis unter vergleichbaren Bedingungen gegenüberstellen.
5. Die Wahl bei deutlich veränderter Nutzung erneut beurteilen.

Datenbedingungen vor dem Preisvorteil prüfen

Eine gewünschte Mindestdauer ist keine vollständige Aussage über Aufbewahrung oder Löschung. Für geschützte Dokumente müssen die tatsächlich geltenden Datenbedingungen und Zugriffsregeln geklärt werden. Auch eine mathematisch günstige Wiederverwendung ist kein Grund, dafür ungeeignete Informationen zu übertragen.

Das Ergebnis sollte eine nachvollziehbare Annahme oder Messung für eine konkrete Last sein. Ohne passende Treffer, Modellunterstützung und geklärte Datenbedingungen bleibt die 12-Stunden-Option ein möglicher Parameter, kein allgemeines Sparversprechen.