Статья23 сентября 2026 года
Поменял effort — куда делся кэш?
Effort выглядит настройкой ответа, но у ряда моделей попадает в начало входа. Разбираю два способа сменить его посреди разговора и проверить, сохранилось ли чтение кэша.
Читать статьюБлог
Пишу о том, как устроены AI-платформы: что происходит с запросами, где теряется время и как меняется стоимость. Здесь собрал несколько текстов, с которых можно начать.
Все текстыДля первого знакомства
Когда одной модели нужен не один сервер
Ловушка гибридных резонеров
Когда короткие ответы и длинные рассуждения могут делить один пул.
21 августа 2026 года
Как кэш меняет маршрутизацию
Тёплый кэш — ещё не быстрый ответ
Как выбор реплики и очередь меняют выигрыш от совпавшего префикса.
5 сентября 2026 года
Что считать в стоимости модели
Погоди переезжать на дешёвую модель: считаем effective cost с учётом кэшаВнешняя ссылка, откроется в новой вкладке
Как попадания в кэш меняют стоимость запроса.
10 марта 2026 годаХабр · блог Битрикс24В новой вкладке
Все тексты на сайте
Статья5 сентября 2026 года
Тёплый кэш — ещё не быстрый ответ
Тёплая реплика экономит вычисления, свободная — ожидание. Хороший маршрут учитывает обе цены.
Читать статьюСтатья5 сентября 2026 года
KV offload: когда загрузить кэш выгоднее, чем пересчитать
Копия KV на CPU или в хранилище полезна, пока её возврат помогает запросу. Считать придётся не только удачные чтения, но и запись блоков, которые больше никто не попросил.
Читать статьюСтатья5 сентября 2026 года
Зачем выбирать реплику по префиксу, если есть sticky sessions
Сессия помогает вернуть диалог на прежний сервер. Общий префикс связывает запросы, у которых вообще нет общей сессии. Выбор начинается с того, где повторяется работа.
Читать статьюСтатья5 сентября 2026 года
Что кэш-роутер знает о кэше
KV на worker, индекс размещения и сведения об активной работе живут и восстанавливаются по-разному. Сравнение роутеров начинается с происхождения этих данных.
Читать статьюСтатья21 августа 2026 года
Ловушка гибридных резонеров
Гибридный checkpoint упрощает выбор режима, но длинные reasoning-запросы и короткие ответы конкурируют за scheduler, KV cache и токенный бюджет. Разбираю, когда нагрузку нужно делить, а когда один инстанс разумнее.
Читать статьюКороткая заметка2 августа 2026 года
Профиль нагрузки важнее названия модели
Одна модель может справляться с короткими чатами и собирать очередь на длинных документах. Прежде чем выбирать сервер, я бы разобрался, какие запросы ему предстоит обслуживать.
Читать заметкуСтатья22 июля 2026 года
ИИ-платформа начинается не с GPU
Покупка ускорителей не превращает AI-демо в платформу. Сначала зафиксируйте сценарий, правила работы с данными, критерии качества, SLO и владельцев — затем выбирайте способ исполнения.
Читать статьюСтатья14 декабря 2025 года
Роли больше не нужны. Но это не точно
Экспертная роль не повысила точность ответов на двух наборах тестовых вопросов. Это хороший результат, но он не отменяет роли как способ задать контекст, перспективу и форму ответа.
Читать статьюНовые тексты и короткие заметки — в Telegram. Статьи с сайта можно читать через RSS.