MaaS vs Self-hosted
Стратегическое решение между MaaS, self-hosted инференсом и гибридным подходом.
Проблема
MaaS vs self-hosted часто подают как религию: внешний API или свои GPU. В production это стратегическое решение с разными режимами отказа.
Симптомы
- Команда хочет более дешёвые токены, но не имеет модели мощности.
- Руководство хочет контроль данных, но недооценивает работу над надёжностью.
- Продуктовые команды хотят выбор моделей, но не имеют контракта AI Gateway.
Ментальная модель
MaaS нужен для скорости, широты выбора и исследовательского цикла. Self-hosted нужен, когда контроль, границы данных, экономика, задержка или продуктовая стратегия оправдывают владение инференсом.
Главная развилка: MaaS vs self-hosted - это не выбор провайдера. Это выбор операционной модели для конкретного ИИ-сценария.
Как безопасно мигрировать сценарий
Не начинайте миграцию с покупки GPU. Сначала продуктовая команда находит модель, на которой сценарий вообще работает: через MaaS, OpenRouter или другого внешнего провайдера. Потом платформа поднимает черновой self-hosted candidate, проверяет воспроизводимость качества, считает профиль задержки и стоимости, прогоняет проверки качества и только после этого делает канареечную выкатку или выделенный пул.
01
Discovery
MaaS, OpenRouter или другой внешний провайдер.
02
Draft self-hosted
Черновой запуск без обещания production.
03
Baseline
Качество, задержка, стоимость текущего маршрута.
04
Evals
Сравнение с baseline и критерии остановки.
05
Canary
Доля трафика, fallback и владелец инцидента.
Хорошая миграция - это не замена model_name, а доказательство, что сценарий сохраняет качество, SLO и экономику в новом контуре.
Архитектура
| Вариант | Когда использовать | Компромисс |
|---|---|---|
| MaaS | Быстрые итерации, широкий доступ к моделям, неопределённый спрос. | Меньше контроля над маршрутизацией, внутренним кешем и экономикой провайдера. |
| Self-hosted | Стабильный спрос, границы данных, контроль задержки и стоимости или особое развёртывание. | Вы владеете мощностью GPU, доступностью, обновлениями и инцидентами. |
| Hybrid | Production требует контроля, а исследование всё ещё требует широты моделей. | Нужны AI Gateway, политика маршрутизации и понятный жизненный цикл модели. |
Выбор по сценарию
Ошибка - принимать решение на уровне "мы теперь self-hosted" или "мы теперь MaaS". Правильный уровень - конкретный ИИ-сценарий: данные, SLA, объём, качество модели, стоимость инженерии и режим обработки.
| Условие | Обычно лучше |
|---|---|
| Нагрузка сильно скачет | MaaS |
| Нужна frontier-модель | MaaS |
| Данные можно обезличить | MaaS или гибрид |
| Данные нельзя отдавать наружу | self-hosted или on-premise |
| Стабильный большой объём | self-hosted |
| Задача не срочная | пакетная или отложенная обработка |
| Нужна кастомизация модели | self-hosted |
| Нет проверок качества и MLOps | осторожно, self-hosted рано |
Метрики
Сравнивай стоимость принятого результата, распределение задержки, доступность, прохождение контроля качества, долю попаданий в кеш, загрузку, инженерную нагрузку и риск инцидентов.
Компромиссы
Self-hosted может снизить предельную стоимость, но увеличить постоянные расходы. MaaS ускоряет оценку, но скрывает кеш и поведение маршрутизации. Гибрид работает, если AI Gateway прячет сложность от продуктовых команд.
Переезд между MaaS, self-hosted и гибридным подходом меняет не только цену токена. Меняется cache semantics: TTL, цена write/read, cache locality, routing affinity, вытеснение из кеша и доступные поля наблюдаемости. Поэтому миграцию нужно считать с новым ожидаемым hit rate, а не только с новым прайсом модели.
Анти-паттерны
- Переходить на GPU, потому что таблица говорит, что токены дешевле.
- Считать только production GPU и забывать, что стейджинг, тесты и отладочные инстансы тоже стоят денег, но не обслуживают пользовательский трафик.
- Оставлять каждую продуктовую команду с прямыми интеграциями к провайдерам.
- Запускать self-hosted модели без описания релиза, проверки качества или плана отката.
Чеклист
- ✓Спрос достаточно предсказуем для планирования мощности.
- ✓Качество измеряется по сценарию, а не только по бенчмарку модели.
- ✓AI Gateway умеет направлять запросы между провайдерами и self-hosted алиасами.
- ✓Резервный путь определён до миграции.
- ✓Расчёт self-hosted включает prod, stage, test/debug, canary/rollout capacity и резерв под пики.
- ✓Сравнение стоимости включает разработку, наблюдаемость, проверки качества и инциденты.
Пример
Суммаризация обращений в поддержке может оставаться на MaaS во время исследования, перенести тяжёлый стабильный трафик на self-hosted инференс и оставить MaaS как резервный маршрут для пиков или регрессий качества. Это не "миграция навсегда", а политика маршрутизации.
Шаблон решения
Задокументируй сценарий, границы данных, форму спроса, модели-кандидаты, модель стоимости, ожидаемый cache hit rate, TTL кеша, стратегию affinity, prefix-aware routing, поля наблюдаемости кеша, допущения по мощности, контроль качества, резервный маршрут и владельца.