Материалы Сергея Нотевского https://notevskii.tech/ Статьи, заметки и внешние публикации о production AI-платформах. ru Тёплый кэш — ещё не быстрый ответ https://notevskii.tech/blog/cache-locality-is-a-routing-problem/ https://notevskii.tech/blog/cache-locality-is-a-routing-problem/ Стабильный префикс нужно довезти до подходящей реплики. Но иногда пересчитать его дешевле, чем ждать: разбираю границу между кэшем и маршрутизацией. Sat, 05 Sep 2026 00:00:00 GMT KV offload: когда загрузить кэш выгоднее, чем пересчитать https://notevskii.tech/blog/kv-offload-economics/ https://notevskii.tech/blog/kv-offload-economics/ Цена поиска, передачи и записи KV вне GPU, границы совместимости и учебный расчёт, который помогает спланировать сравнение offload on/off. Sat, 05 Sep 2026 00:00:00 GMT Зачем выбирать реплику по префиксу, если есть sticky sessions https://notevskii.tech/blog/sticky-sessions-vs-prefix-routing/ https://notevskii.tech/blog/sticky-sessions-vs-prefix-routing/ Когда привязки сессии к серверу достаточно, что меняют общие префиксы разных пользователей и как сравнить политики без обещания неизбежного выигрыша. Sat, 05 Sep 2026 00:00:00 GMT Что кэш-роутер знает о кэше https://notevskii.tech/blog/what-cache-router-knows/ https://notevskii.tech/blog/what-cache-router-knows/ История назначений в vllm-router, KV events и восстановление состояния в NVIDIA Dynamo: что подтверждает индекс и какие данные нужны для проверки маршрута. Sat, 05 Sep 2026 00:00:00 GMT Ловушка гибридных резонеров https://notevskii.tech/blog/hybrid-reasoners-in-production/ https://notevskii.tech/blog/hybrid-reasoners-in-production/ Почему один checkpoint с thinking и non-thinking режимами не превращается в универсальный inference-инстанс и когда общий пул всё же имеет смысл. Fri, 21 Aug 2026 00:00:00 GMT Профиль нагрузки важнее названия модели https://notevskii.tech/blog/workload-shape-over-model-name/ https://notevskii.tech/blog/workload-shape-over-model-name/ Что нужно знать о длине запросов и ответов, параллелизме и повторном использовании кэша до выбора модели и GPU. Sun, 02 Aug 2026 00:00:00 GMT ИИ-платформа начинается не с GPU https://notevskii.tech/blog/ai-platform-before-gpu/ https://notevskii.tech/blog/ai-platform-before-gpu/ Почему для production-сценария сначала нужно определить правила работы с данными, критерии качества, SLO и владельцев, а уже потом выбирать модель и инфраструктуру. Wed, 22 Jul 2026 00:00:00 GMT Почему короткий промпт может стоить дороже длинного https://thecode.media/prefix-cache-promt-ai-agenty/ https://thecode.media/prefix-cache-promt-ai-agenty/ Публичная аннотация к материалу о prefix cache и стоимости длинных агентных сессий. Thu, 18 Jun 2026 00:00:00 GMT Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах https://habr.com/ru/companies/bitrix/articles/1033822/ https://habr.com/ru/companies/bitrix/articles/1033822/ Публичная аннотация к статье о стабильности префикса, списке tools и effective cost в агентных циклах. Tue, 12 May 2026 00:00:00 GMT Погоди переезжать на дешёвую модель: считаем effective cost с учётом кэша https://habr.com/ru/companies/bitrix/articles/1008320/ https://habr.com/ru/companies/bitrix/articles/1008320/ Публичная аннотация к сравнению стоимости LLM с учётом cache read, cache miss и цен провайдеров. Tue, 10 Mar 2026 00:00:00 GMT Навыки агентов (Agent Skills): что это такое и почему это больше, чем «папка с промптами» https://habr.com/ru/companies/bitrix/articles/980654/ https://habr.com/ru/companies/bitrix/articles/980654/ Публичная аннотация к объяснению Agent Skills как переносимых и версионируемых модулей поведения AI-агента. Fri, 26 Dec 2025 00:00:00 GMT Синдром бесконечного окна: почему 1 миллион токенов в LLM не решает ваши проблемы (пока) https://habr.com/ru/companies/bitrix/articles/976528/ https://habr.com/ru/companies/bitrix/articles/976528/ Публичная аннотация к статье о разнице между заявленным и рабочим контекстом: context rot, управление историей агента, RAG и prefix cache. Mon, 15 Dec 2025 00:00:00 GMT Роли больше не нужны. Но это не точно https://notevskii.tech/blog/roles-in-llm-prompts/ https://notevskii.tech/blog/roles-in-llm-prompts/ Что именно показало исследование Wharton об экспертных ролях в промптах и почему из него рано делать вывод, что роли бесполезны. Sun, 14 Dec 2025 00:00:00 GMT «Не магический скачок, а практичное улучшение»: российские ИИ-эксперты — о новой GPT-5 https://rb.ru/news/ne-magicheskij-skachok-praktichnoe-uluchshenie-rossijskie-ii-eksperty-o-novoj-gpt-5/ https://rb.ru/news/ne-magicheskij-skachok-praktichnoe-uluchshenie-rossijskie-ii-eksperty-o-novoj-gpt-5/ Публичная аннотация к материалу RB.RU с комментариями о достоверности GPT-5, длинном контексте и AI-агентах. Fri, 08 Aug 2025 00:00:00 GMT Промт-инжиниринг больше не нужен? https://vc.ru/ai/1952426-promt-inzhiniring-v-2024-godu https://vc.ru/ai/1952426-promt-inzhiniring-v-2024-godu Публичная аннотация к материалу о роли промпта в пользовательских запросах и архитектуре AI-продукта. Mon, 28 Apr 2025 00:00:00 GMT От улыбки рейтинг наш светлей: Как фильтры стиля и настроения меняют рейтинг LLM https://habr.com/ru/companies/bitrix/articles/904092/ https://habr.com/ru/companies/bitrix/articles/904092/ Публичная аннотация к статье о том, как стиль, настроение и форма ответа влияют на сравнение языковых моделей. Thu, 24 Apr 2025 00:00:00 GMT Grok 3 против всех: чем нейросеть Илона Маска лучше (и хуже) конкурентов https://snob.ru/science/grok-3-protiv-vsekh-chem-neiroset-ilona-maska-luchshe-i-khuzhe-konkurentov/ https://snob.ru/science/grok-3-protiv-vsekh-chem-neiroset-ilona-maska-luchshe-i-khuzhe-konkurentov/ Публичная аннотация к материалу «Сноба» о возможностях и ограничениях Grok 3 на фоне других языковых моделей. Thu, 20 Mar 2025 00:00:00 GMT Почему нанимать на работу искусственный интеллект будут не скоро https://trends.rbc.ru/trends/industry/66ab8d2b9a7947e539dbdd98 https://trends.rbc.ru/trends/industry/66ab8d2b9a7947e539dbdd98 Публичная аннотация к материалу РБК Трендов о границе между AI-ассистентом и полноценным сотрудником. Thu, 01 Aug 2024 00:00:00 GMT