Сергей Нотевский
Практическое руководство

Хэндбук по ИИ-платформам в продакшене

От API-ключа к платформе.

ИИ в продакшене — это не модель. Это платформа. Практическая карта для команд, которые строят LLM, STT, эмбеддинги и агентов: инференс, маршрутизация, кеш, оценка качества, защитные ограничения, наблюдаемость, стоимость и ответственность.

14

глав и карт

12

слоёв платформы

5

форматов

3

инструмента

4

ролевых трека

API key → platform
01

Продуктовые сценарии

02

AI Gateway

03

Стратегия провайдеров

04

Маршрутизация пути исполнения

05

Среда инференса

06

Кеширование

Как пользоваться хэндбуком

Не читайте подряд. Начните с той платформенной проблемы, которая уже болит.

Нужна общая картина?

Откройте карту платформы и найдите слой, где нет владельца.

Нужен язык для CTO?

Начните с модели зрелости и главы про MaaS vs self-hosted.

Растёт стоимость или задержка?

Идите в экономику инференса и кеш префикса.

Плывёт качество?

Начните с контроля качества, наблюдаемости и ответственности.

Начать по роли

Выберите маршрут по своей зоне ответственности, а затем отфильтруйте материалы в каталоге ниже.

Руководитель ИИ-платформы

Ответственность, карта, качество и экономика.

CTO / руководитель

Стратегия, зрелость и операционная модель.

Backend-инженер

AI Gateway, наблюдаемость, инструменты и контракты.

MLOps / инференс

Развёртывание, STT, эмбеддинги, кеш и мощность.

Навигатор хэндбука

Ищите материалы по роли, формату или теме и отмечайте прочитанное. Прогресс хранится только в этом браузере.

Прогресс

0/22

прочитано

0

в закладках

Только локальное состояние. Без аккаунта, слежки и серверной части.

Поиск

Форматы

Роли

Шаблоны
Запланировано

RFC релиза модели

Описание релиза, порог качества, путь отката и профиль стоимости при смене модели.

Шаблоны
Запланировано

Отчёт по качеству

Датасет, таксономия ошибок, регрессионные дельты и рекомендация по выкатке.

Шаблоны
Запланировано

Разбор AI-инцидента

Шаблон для инцидентов с промптом, моделью, инструментом, стоимостью и безопасностью.

Слои платформы

В карте двенадцать зон ответственности. Если слоя нет, его всё равно кто-то сделает внутри продукта.

L01

Продуктовые сценарии

Ценность, риски, владелец и критерии успеха.

L02

AI Gateway

Единый вход: доступ, лимиты, маршрутизация, политики и учёт стоимости.

L03

Стратегия провайдеров

MaaS, self-hosted и гибридный подход как стратегия, а не религия.

L04

Маршрутизация пути исполнения

Выбор пути: маленькая модель, большая модель, RAG, агент, ручная проверка или отказ по политике.

L05

Среда инференса

Запуск LLM, STT, эмбеддингов и моделей ранжирования с бюджетами задержки и пропускной способности.

L06

Кеширование

Prompt cache, prefix cache, KV-cache и стабильная форма запроса.

L07

Жизненный цикл модели

От исследования до теневого теста, канареечной выкатки, production, отката и вывода из эксплуатации.

L08

Оценка качества и релизный контроль

Датасеты, регрессионные проверки, канареечная выкатка и обратная связь.

L09

Наблюдаемость

Трейсы, токены, TTFT, TPOT, события резервного маршрута, события безопасности и обратная связь.

L10

Экономика / FinOps

Стоимость сценария, кешированные токены, повторы, загрузка GPU и цена принятого результата.

L11

Защитные контуры / безопасность

Политики, PII, prompt injection, риски инструментов и аудит.

L12

Эксплуатация / ответственность

SLO, инциденты, планирование мощности, инструкции и опыт разработчиков платформы.

Быстрые входы

Короткий маршрут по основным главам первой версии.

Инструменты и шаблоны

Карты, чеклисты, шаблоны и инструменты собраны как рабочие артефакты, а не как список статей.