Экономика инференса

Почему AI-стоимость нужно считать по принятым результатам, а не по сырой цене токена.

Проблема

Стоимость LLM часто сводят к tokens * price. Так теряются попадания в кеш, повторы, резервные маршруты, проваленные задачи, влияние задержки и инженерная стоимость.

Симптомы

Более дешёвая модель увеличивает число повторов.
Более короткий промпт теряет prefix cache и становится дороже.
Финансы видят счёт провайдера, но продукт не видит стоимость сценария.

Ментальная модель

AI-стоимость - это счёт провайдера плюс амортизация GPU, инженерная стоимость, наблюдаемость, проверка качества, потери качества, влияние задержки, инциденты и стоимость упущенных возможностей.

Большая модель не всегда дороже линейно

Если модель требует в 8 раз больше GPU, это ещё не значит, что сценарий станет в 8 раз дороже. Реальная стоимость единицы результата зависит от пропускной способности, batchability, cache hit rate, длины ответа, числа retries, качества результата и доли принятых задач.

Но обратная сторона тоже важна: для большой модели обычно нужны не только prod-инстансы, но и test, debug и stage capacity. Эти мощности не обрабатывают пользовательские запросы, но входят в экономику сценария.

Effective cost =
  S * ((1 - h) * P_miss + h * P_hit)
  + D * P_miss
  + O * P_out

Где S - повторяемая часть, D - динамический хвост, O - выходные токены, h - hit rate, P_miss - обычная цена входа, P_hit - цена кешированного входа, P_out - цена выхода.

Прайс-лист модели не знает ваш hit rate. Поэтому сравнивать модели только по input/output цене - неполная математика.

Архитектура

Атрибуция стоимости требует метаданные AI Gateway, цены провайдера, поля кешированных токенов, scenario_id, результаты качества, повторы, события резервного маршрута и сигналы принятия результата.

Прод - не весь парк

В self-hosted нельзя считать только продовые GPU. Стейджинг, тесты, отладка, канареечные выкатки и резерв под пики не обслуживают пользовательские запросы напрямую, но входят в стоимость сценария.

Стоимость сценария =
  продовый инференс
  + non-prod мощность
  + резерв
  + прогоны проверок качества и бенчмарков
  + инженерное время
  + эксплуатация

Сравнивать надо не цену за GPU и не цену за миллион токенов, а стоимость успешного ответа в нужном SLA.

Метрики

Самая сильная метрика - стоимость принятого результата: принятое CRM-письмо, корректная расшифровка, полезное summary, задача, прошедшая контроль качества, или агентский цикл, который завершился в рамках бюджета.

Компромиссы

Оптимизация стоимости токена может ударить по качеству. Оптимизация под лучшую модель может ударить по пропускной способности. Оптимизация длины промпта может ударить по кешу. Зрелая экономика балансирует успешные результаты, задержку и эксплуатационный риск.

Анти-паттерны

Выбирать модели только по прайсу.
Игнорировать цену кешированных входных токенов.
Считать retries невидимыми.
Считать успешные API-вызовы вместо успешных пользовательских задач.

Чеклист

✓У каждого маршрута есть scenario_id и метаданные владельца.
✓Отчёты по стоимости разделяют входные, кешированные входные и выходные токены.
✓Повторы и резервный маршрут включены в стоимость сценария.
✓Проблемы качества видны в разборах стоимости.
✓Unit cost считается по сценарию, а не по размеру модели или числу GPU.
✓В стоимость включены non-prod контуры и резерв под rollout/canary.
✓Дашборд показывает стоимость принятого результата.