Сергей Нотевский
Строю ИИ-платформы, которые работают в продакшене: LLM, STT, эмбеддинги, агенты, инференс, оценка качества, наблюдаемость, стоимость и ответственность. Пишу Production AI Platform Handbook — практическую карту того, что начинается после демо.
Практика за хэндбуком
Заметки из работы с боевой ИИ-платформой: без внутренних деталей, но с реальными инженерными компромиссами.
ИИ-платформа
LLM · STT · эмбеддинги · агенты
Свой инференс
vLLM · GPU · маршрутизация · кеш
Качество
оценки · регрессия · обратная связь
Экономика
стоимость сценария · кеш префикса · токены
Публичные материалы
Habr · доклады · открытый код
После демо
Демо работает. Дальше начинаются платформенные вопросы.
Главная сложность начинается после первого успешного вызова модели: стоимость, качество, задержка, ответственность и эксплуатация.
Задержка скачет.
Стоимость токенов растёт.
Промпты ломаются.
Агенты зацикливаются.
Оценки качества нет.
Ответственность за качество размыта.
В этот момент ИИ перестаёт быть фичей и становится платформой.
Флагманский проект
Production AI Platform Handbook
Практический хэндбук для команд, которые идут от API-ключа и демо к боевой ИИ-платформе. Внутри: карта из 12 слоёв, главы, чеклисты, инструменты и шаблоны.
Карта из 12 слоёв
От продуктового сценария до владельца, стоимости и эксплуатации.
Главы
AI Gateway, инференс, экономика, кеш, оценка качества, наблюдаемость и ответственность.
Инструменты
Prefix Cache Auditor, LLM Cost Calculator и чеклист контроля качества.
Шаблоны
RFC сценария, миграция в self-hosted, разбор стоимости и инциденты.
Публичные материалы
Публичные материалы
Хэндбук, инструменты, статьи и доклады, из которых постепенно собирается практическая карта ИИ-платформы.
Production AI Platform Handbook
Карта платформенной ответственности для команд, которые идут от API-ключа и демо к инференсу, маршрутизации, оценке качества, стоимости и владельцам.
Prefix Cache Auditor
Локальный инструмент для поиска нестабильного префикса, динамических полей, дрейфа схем инструментов и рекомендаций по кешу.
audit-prompt-caching
Открытый пакет для аудита кеша: стабильная форма промпта, динамические поля и рекомендации по структуре запроса.
Тексты
Статьи на Habr и заметки в Telegram
Длинные разборы на Habr и короткие заметки в Telegram.
Выступления
Выступления и подкасты
Видео и подкасты про выбор моделей, стратегию платформы и инженерную работу.
Где я полезен
Где я полезен
Разбор архитектуры, стратегия платформы, доклады и совместные материалы.
Разбор архитектуры
AI Gateway, маршрутизация, кеш, инференс, качество, наблюдаемость, стоимость и ответственность.
Стратегическая сессия
MaaS vs self-hosted, зрелость ИИ-платформы, зоны ответственности и первый план развития.
Доклад или подкаст
Практичный разговор о боевых ИИ-платформах без хайпа: инференс, оценка качества, кеш префикса и экономика.
Коллаборация
Хэндбук, инструменты с открытым кодом, шаблоны и совместные публичные материалы.
Об авторе
Сергей Нотевский
Я — Сергей Нотевский, AI Platform Lead. Работаю на стыке платформенной архитектуры, инференса, оценки качества, наблюдаемости и экономики ИИ-сценариев. Этот сайт — публичный слой моей практики: заметки, инструменты, шаблоны и хэндбук без внутренних деталей.
Модель заменяема. Платформа накапливает эффект.
Начни с карты
Модель заменяема. Платформа накапливает эффект.
Первый релиз намеренно небольшой: карта, модель зрелости, основные слои платформы и практические инструменты.