Манифест

Почему production AI стоит мыслить как платформу, а не как выбор модели.

Тезис

Production AI - это не модель.

Модель заменяема. Платформа накапливает эффект.

Если продуктовые команды ходят напрямую в разные провайдеры, у вас нет ИИ-платформы. У вас есть распределённая зона риска: стоимость, задержка, качество, безопасность и инциденты размазаны по сервисам.

После демо

Демо доказывает, что модель может ответить.

Production доказывает другое:

ответ стабилен на реальных данных;
задержка укладывается в продуктовый сценарий;
стоимость понятна до запуска;
качество измеряется до выкатки;
резервный маршрут работает до инцидента;
владелец известен до эскалации.

Вот здесь AI перестаёт быть "вызовом модели" и становится платформенной задачей.

Модель - только один компонент

Новая модель - не просто model_name.

Это релиз с контролем качества, риском регрессий, планом отката, профилем стоимости и наблюдаемостью. Если этого нет, команда меняет не платформу, а надежду.

Что я называю платформой

Платформа - это стабильный контракт между продуктом и исполнением модели:

AI Gateway и единый API-слой;
алиасы, маршрутизация, квоты и резервные пути;
инференс-рантайм для LLM, STT, embeddings и rerankers;
промпт, prefix cache и KV-cache;
проверки качества и контроль перед релизом;
наблюдаемость, стоимость и обратная связь;
защитные контуры, политики и аудит;
ответственность, инструкции и процесс инцидентов.

Чего здесь не будет

Здесь не будет "лучшей модели месяца", шаблонной промпт-инженерии и магии агентов.

Здесь будет инженерный вопрос: как сделать ИИ-сценарий измеримым, управляемым, безопасным и экономически понятным в production.

Принципы

API key - не платформа.
Бенчмарк - не процесс качества.
Кеш не включается одной галочкой.
Context window - не рабочий контекст. Возможность положить в модель миллион токенов не означает, что эти токены полезны для качества, задержки и стоимости.
Защитные контуры - не библиотека, а политики, телеметрия и ответственность.
Стоимость токена - слабая метрика. Важнее стоимость принятого результата.
Агент в production - управляемый цикл с бюджетом, политикой, наблюдаемостью и резервным маршрутом.
Платформенная команда не должна согласовывать каждый промпт. Она должна давать контракты, инструменты и готовые пути.

Зрелая ИИ-платформа управляет контекстом как ресурсом: выбирает, что загружать, где размещать динамику, что кешировать и когда не запускать дорогой путь.

Минимальная проверка

✓Замену модели можно сделать без переписывания продукта.
✓У каждого production-сценария есть телеметрия качества и стоимости.
✓У каждого релиза есть откат или резервный маршрут.
✓Защитные контуры и наблюдаемость встроены до выкатки.
✓У сценария есть продуктовый владелец и владелец платформы.