AI Gateway
Почему AI Gateway - это центр управления production ИИ-платформой.
Проблема
Если продуктовые команды напрямую ходят в разные модели, у тебя нет платформы. У тебя распределённая зона риска.
Симптомы
- Нет общих алиасов моделей.
- Нет единого учёта токенов.
- Нет единой точки применения политик.
- Переключение между провайдерами реализовано по-разному в каждом продукте.
Ментальная модель
AI Gateway - не прокси к модели. Это центр управления контрактами, маршрутизацией, квотами, стоимостью, политиками, наблюдаемостью и жизненным циклом моделей.
Архитектура
Основные зоны: авторизация, тенанты, квоты, лимиты, нормализация запросов, абстракция провайдеров, резервные маршруты, повторы, алиасы моделей, учёт токенов, атрибуция стоимости и применение политик.
В зрелой платформе AI Gateway маршрутизирует не только провайдера или модель, но и тип исполнения. Простые запросы могут идти в direct_small, сложные single-shot задачи - в direct_large, а запросы с действиями, внешним состоянием или многошаговым планом - в agentic.
01
Scenario
Сценарий и критерий успеха.
02
Route policy
lane, SLO, budget, fallback.
03
Pool / provider
MaaS, self-hosted pool или batch.
04
Trace
route_lane, pool_id, queue_time, cost.
Метрики
Покрытие AI Gateway, успешность маршрутов, доля срабатываний резервного маршрута, отказы по квотам, полнота атрибуции стоимости, попадания в кеш по маршруту, задержка по алиасу модели и доля нарушений политики.
Компромиссы
AI Gateway добавляет сетевой переход и зависимость от платформы. Взамен он создаёт единое место, где можно улучшать маршрутизацию, безопасность, стоимость и наблюдаемость для всех продуктов.
Анти-паттерны
- SDK-обёртки без состояния маршрутизации.
- Сырые имена моделей провайдера в продуктовом коде.
- Все запросы по умолчанию отправляются в agentic runtime.
- Router выбирает
model_name, но не выбирает путь исполнения. - Route metadata добавляется в начало промпта и ломает prefix cache.
- Повторы, которые прячут проблемы качества или стоимости.
- Квоты, которые применяются только после счёта от провайдера.
Чеклист
- ✓Продуктовый код использует алиасы моделей, а не сырые имена моделей провайдера.
- ✓Каждый запрос несёт scenario_id и метаданные владельца.
- ✓AI Gateway пишет версию промпта, модель, провайдера, токены, стоимость и задержку.
- ✓Резервный маршрут имеет критерии остановки и виден в трейсах.
- ✓Политики применяются до вызова инструментов или внешних действий.
Пример
Вместо gpt-5-mini в продуктовом коде используй crm.summary.fast. AI Gateway может направить алиас в MaaS, self-hosted модель или резервный маршрут, сохранив телеметрию и владельца качества.
Шаблон решения
Для каждого маршрута заполни: алиас, сценарий, route_policy, canary_share, fallback_condition, pool_id, queue_priority, latency_class, разрешённые провайдеры, квоту, бюджет токенов, политику безопасности, поля трейса и владельца.