audit-prompt-caching

audit-prompt-caching помогает найти, где повторяющиеся LLM-запросы теряют prefix cache. Он проверяет форму запросов, порядок сообщений и tools, динамические поля и маршрут до модели.

В репозитории — Codex skill и небольшие Python-скрипты без сторонних зависимостей. Они работают с файлами проекта и сохранёнными запросами, а результат оформляют как гипотезы, которые можно проверить по telemetry.

Когда пригодится

Используйте skill, если выросли стоимость или time to first token, поле cached tokens остаётся нулевым либо соседние шаги одной агентной сессии показывают разный cache hit.

Для проверки пригодятся код сборки запроса, два готовых payload, usage-данные или конфигурация маршрутизации. Если таких данных пока нет, skill подскажет, что собрать.

Что проверяет аудит

В исходниках skill ищет динамические timestamp и request identifiers в раннем префиксе, нестабильную сериализацию tools, изменение schema между шагами, перестановку system и user blocks, truncation и compaction.

В конфигурации маршрутизации он проверяет причины потери локальности кэша: разные provider paths, replicas и правила распределения запросов.

В usage-данных он сопоставляет cache fields, токены и latency. Это помогает отделить изменение payload от маршрутизации или вытеснения KV blocks.

Как запустить

Установите skill:

npx skills add https://github.com/sernote/audit-prompt-caching --skill audit-prompt-caching

Начните новую сессию Codex и вызовите его явно:

Use $audit-prompt-caching to audit this repo for prompt-cache misses,
unstable prompt prefixes, dynamic tools/schemas, routing issues,
and deployment cache-locality problems.

Команда и остальные способы запуска описаны в READMEВнешняя ссылка, откроется в новой вкладке.

Что получится

Skill покажет возможные места дрейфа и объяснит, какие payloads, route labels и usage fields нужны для проверки. Он не обещает найти одну автоматическую причину: cache miss может возникнуть в форме запроса, маршрутизации, политике провайдера или из-за вытеснения кэша.

Claude for Open Source

В августе 2026 года проект приняли в программу Claude for Open SourceВнешняя ссылка, откроется в новой вкладке. Мне дали бесплатный Claude Max 20x на шесть месяцев, чтобы дальше заниматься проектом.

Забавно, что в описании проекта на первом месте всё равно skill для Codex.

Данные

Проект не захватывает live traffic и не подключается к провайдеру сам. Для аудита нужны сохранённые запросы, usage-данные или конфигурация маршрутизации. Перед запуском удалите customer content, credentials, идентификаторы и закрытые URL либо замените их синтетическими значениями.

Результат статического аудита подтверждают по provider response fields, traces и billing export. Правила зависят от API и версии, поэтому перед изменением layout сверяйте документацию провайдера и проверяйте результат на повторяемой выборке. Проект распространяется по лицензии MITВнешняя ссылка, откроется в новой вкладке.

Связанный reference-компонент: Prefix Cache. Он объясняет ответственность и runtime signals, а проект даёт локальные проверки части request path.