Статья

Агенты написали код. А дальше пришли пользователи

Валера Ковальский собрал ИИ-хаб вместе с агентами, а потом написал: пора звать людей. В пилоте «300 токенов в секунду» разбирались, что изменилось. Код агенты писать не разучились — у изменений появились чужие последствия.

Автор — Сергей Нотевский

Опубликовано

В пилотном выпуске подкаста «300 токенов в секунду»Внешняя ссылка, откроется в новой вкладке мы с Артёмом Вишней разговаривали с Валерой Ковальским, создателем NeuralDeep. Валера начинал с квартирного майнинга, а к моменту записи держал хаб открытых моделей, которым пользуются другие люди.

На записи он вспомнил свой пост в канале: мол, доигрался в агентов, теперь надо звать людей. История за этим постом короткая.

Раньше доступ к его моделям выглядел просто: вот адрес, вот порт, вот токен. Никаких лимитов, никакого прокси. Устав от бесконтрольного потребления, Валера поднял LiteLLM с авторизацией и объявил в канале бесплатный доступ. Людей пришло столько, что вместе с агентом он придумал платные тарифы и урезал бесплатный.

Сам хаб Валера, по его словам, писал вместе с кодовыми агентами. В какой-то момент он честно спросил себя: если он один на один с серверами и агентами, зачем соблюдать правила разработки и выкатки? Ответ нашёлся быстро: пользователи не должны получать ошибки. Так появились два экземпляра прокси, которые перезапускались по очереди. Потом пришли вопросы в поддержку, B2B-клиенты, переписка с юристом, администратор. И тот самый пост.

Это легко прочитать как признание, что агенты не справились. Но в том же разговоре Валера рассказывал, что на прод у него выкатывают именно агенты. Писать код они не разучились. Изменилось другое: запросы стали чужими.

Пока моделью пользуешься сам, перезапуск, новые параметры или другая модель под старым именем остаются экспериментом. Когда в эндпоинт ходят другие, те же действия задевают чужую интеграцию, чужой бенчмарк, чужой ночной батч. Агенты сильно удешевили сами изменения. А решать, какие из них допустимы для чужих запросов, по-прежнему приходится людям.

Что прокси делает с чужим запросом

Маленькие модели иногда зацикливаются. Дообучать каждую Валера не стал и решил ловить это на прокси. Зацикленный запрос держит слот: по его оценке, до 32 тысяч токенов, то есть минут десять занятого слота на одной карте. Поэтому прокси запрашивал у движка потоковый ответ даже для нестриминговых запросов клиента, следил за потоком и при зацикливании обрывал генерацию или повторял запрос. Цену Валера назвал сам: принудительный стриминг может ухудшить разбор JSON и вызовов инструментов. На момент записи он считал эту потерю небольшой.

Здесь я бы разделил две вещи. Повторы в потоке — эвристика, а не доказанная петля: длинный список тоже повторяется. Обрыв по такому сигналу защищает общий слот. Повтор запроса — отдельное решение, и у него должен быть предел. Если часть ответа уже ушла клиенту, новый ответ нельзя незаметно подставить вместо старого. Если клиент уже исполнил вызов инструмента, повтор всего шага может второй раз отправить письмо или создать запись. Безопасный повтор требует учитывать такие побочные эффектыВнешняя ссылка, откроется в новой вкладке. Это не претензия к NeuralDeep, а вопрос к своему прокси.

Префиксный кэш, о котором я много пишу, здесь не спасёт. В vLLM он переиспользует KV-состояние совпавшего начала запроса и экономит обработку входа (prefill), но не ускоряет генерацию новых токеновВнешняя ссылка, откроется в новой вкладке. А зацикленный запрос почти целиком состоит из генерации.

Второе правило касалось рассуждения. Клиенты его часто не выбирают, а модели обновляются быстро и с разными чат-шаблонами. Если уровень не указан, прокси ставил низкий, явно запрошенный высокий пропускал. Маленькой MoE-модели рассуждение урезали сильнее: она склонна рассуждать лишнее и тоже зацикливаться. В студии это подытожили так: клиент думает, что просто вызывает chat completions, а под капотом идёт серия приседаний.

Такие правила защищают общий пул, но часть из них меняет поведение для клиента. Сам по себе стриминг между прокси и движком ещё не означает стриминг наружу: прокси может собрать обычный ответ. А вот лимит рассуждения или обрыв по эвристике уже влияют на результат. Написать детектор с агентом можно быстро. Но какое поведение обещано клиенту — обрыв, повтор или явная ошибка, — агент сам не определит. Я бы как минимум возвращал в ответе применённый уровень рассуждения и причину обрыва, чтобы о правиле узнавали не по странному багу. Про лимиты рассуждения в общем пуле — в «Ловушке гибридных резонеров».

Пять моделей, которые оказались одной

Самая характерная история случилась ещё до того, как Валера целиком ушёл в инференс, — когда он обслуживал модели внутри компании. Открытые модели тогда выходили как из пулемёта, vLLM не поспевал. А пользователи запомнили один URL и одно имя модели и захардкодили их в свои сервисы.

Старые имена пришлось направлять на новую модель. Валера вспоминает, что в какой-то момент у одной модели набралось около пятнадцати алиасов: люди по-прежнему обращались к Llama, а попадали в Qwen.

Однажды к нему пришла команда. Совершенно серьёзно: у нас развёрнуто пять моделей, мы всё протестировали, метрики разные, какую выбрать? На этот бенчмарк ушло три недели. При руководителях Валера раскрывать карты не стал и объяснил всё потом. Параметры, по его словам, были одинаковые. Он подозревает одиночный прогон без повторов, хотя как именно тестировали, не знает.

Алиас сохранил старые адреса рабочими. Но совместимость имени ещё не означает совместимость поведения: под знакомым именем другой чат-шаблон, другой стиль ответов, другие ошибки. Подвела и методология: одиночный прогон без повторов легко выдаёт шум за разницу. Только даже аккуратный бенчмарк не показал бы, что за пятью именами стоит одна модель, если ответ об этом не сообщает. Поэтому я бы возвращал в ответе идентификатор реального чекпойнта, а не только имя, по которому пришёл запрос.

Уже как провайдер Валера выводил модели иначе. Пару моделей, под которые почти не осталось сценариев, он перевёл на проксирование к внешнему хостеру и разослал письмо всем, кто ими пользовался. Если модель снимал сам хостер — новое имя, иногда временная поддержка старого, новая цена. Технически это та же маршрутизация, что и с алиасами. Разница в том, знает ли пользователь: тихая подмена портит измерения, подмена с письмом и сроком становится миграцией. Имя в общем API должно указывать либо на конкретный чекпойнт, либо на класс вроде «быстрый чат», содержимое которого может меняться. Главное — сказать, какой из вариантов у вас.

Zero-day support — ещё не прод

Про новые модели в выпуске я пожаловался на знакомую боль. Когда сервисом пользуются люди, которые платят и ждут стабильности, бизнес просит как можно быстрее отдать им новую модель: в телеграме уже написали, что она супер. vLLM объявляет поддержку с первого дня (zero-day support), а начинаешь разворачивать — половина не работает. Артём добавил, что часто это ночная сборка, а не стабильный релиз. Мой вывод был простым: запустить модель можно, но это не zero day to prod. Артём разложил это на привычный цикл: до общей доступности идёт превью — закатил на свой страх и риск и повесил дисклеймер.

У Валеры этот цикл был виден в работе. Новые модели он иногда заводил через несколько часов после релиза. Место поломки находил по стек-трейсу и сразу показывал агенту, чтобы тот не сжёг миллион токенов на поиски, а патч клал в контейнер с vLLM. Для одной открытой модели генерации изображений поддержка в движке была заявлена, но на склейках фрагментов картинки появлялись фиолетовые засветы. Валера нашёл обход и выдал модель бесплатно с предупреждением: пользоваться на свой страх и риск. Это и есть превью.

Артём описал, как это выглядит в компании. Новую модель ставят рядом с текущей, параметры подбирают на глаз и прогоняют её на офлайн-наборе из нескольких сотен — тысячи критичных примеров. Тут выясняется, что «как есть» модель не переезжает: промпты и чат-шаблоны другие. Приходится на несколько дней закрыться и прийти с цифрами: как есть, после первой доработки, после второй. Иногда выстреливает, и тогда переезжают.

От первого ответа до рабочего сервиса

Каждый переход требует новой проверки.

  1. Модель запустилась

    Загрузились веса. Пришёл ответ.

    Проверили запуск
  2. Сценарий работает

    Качество, формат ответа и инструменты проходят проверку на ваших задачах.

    Проверили результат
  3. Сервис держит нагрузку

    Известны задержки и пределы нагрузки. Есть наблюдение и путь отката.

    Проверили эксплуатацию

Ещё Валера провёл границу ответственности. Он всё больше уходит в инференс и проксирование, потому что не хочет бороться с бизнесом за метрики качества агентов. Если его спрашивают, почему модель плохо справляется с управлением компьютером, он показывает опубликованную точность в карточке модели: по его мнению, промптом такое не вытянуть, это зона продукта. Сам он с иронией назвал это бегством от ответственности.

С направлением я согласен, но границу провёл бы точнее. Провайдер не прозрачная труба: квантование, параметры движка, разбор ответов и правила прокси — его решения, и они влияют на качество. Поэтому провайдер отвечает за заявленное поведение эндпоинта: какой чекпойнт, в каком квантовании, с какими лимитами, что прокси меняет в запросе. Владелец сценария отвечает за качество на своей задаче, и опубликованная метрика не заменяет ему собственной оценки. Внутренней платформе такую границу провести сложнее: от неё часто ждут ответа за все сценарии сразу. Об этом я писал в статье «ИИ-платформа начинается не с GPU».

Три агента и один прод

На момент записи над хабом работали несколько человек, у всех был доступ к проду. Pull request сводили к main, был тестовый сервер, а автоматического пайплайна выкатки ещё не было. Сам Валера работал с тремя агентами одновременно, и порядок держался на двух вещах.

Первая — общие правила: перед pull request или новым worktree агент проверял, нет ли рядом других сессий. По словам Валеры, кодовые агенты уже умеют видеть сессии на той же машине. Так агенты договаривались, кто в каком worktree работает, и один не открывал PR, пока другой переключал ветку.

Вторая — lock-файл на сервере. Перед выкаткой агент ставил блокировку, следующий видел её и ждал. Выкатку Валера доверял агентам, потому что они проверяли, ушёл ли трафик с реплики, прежде чем её перезапускать. Артём узнал здесь классические рельсы: взаимную блокировку из мира баз данных и обратную связь в момент выкатки. Валера подытожил: никаких фреймворков, правило и файл.

Сам по себе файл ещё не гарантия. Блокировка работает, когда захват атомарный, а при сбое понятно, кто и как её снимает. Иначе два агента возьмут её одновременно или упавшая сессия будет держать её вечно. Принцип не специфичен для агентов: в главе SRE-книги Google про release engineeringВнешняя ссылка, откроется в новой вкладке выпуск строится как воспроизводимый процесс с намеренными изменениями.

Обратный пример — ревью «до сходимости». Когда Валера просил агентов ревьюить и исправлять код по кругу, токены улетали. Ревьюер находил баги, исполнитель чинил, потом они шли копать асинхронность и писали сотни исключений на гипотетические случаи. На ревью приходило плюс десять тысяч строк. Модели поспорили между собой и решили, что столько исключений и нужно. Просил чистый хороший код — получай.

Разница с lock-файлом в механизме. У блокировки есть состояние: занято или свободно. У выкатки есть проверка: ушёл ли трафик. У «сделай чисто» нет ни того, ни другого. В Building effective agentsВнешняя ссылка, откроется в новой вкладке Anthropic пишет, что агенту на каждом шаге нужна достоверная обратная связь от среды и условия остановки, например лимит итераций. А схема, где одна модель оценивает, а другая исправляет (evaluator-optimizer), работает, когда есть ясный критерий и каждая итерация даёт измеримую пользу.

Был в выпуске и пример того, как такой цикл можно устроить. Валера поручил агенту подобрать параметры vLLM для пула одной модели, причём формулировка была свободной: чтобы на нашем трафике всё было хорошо. Агент сам расписал план на пять дней, потому что трафик меняется. Процесс следил за логами, Валера периодически заглядывал и подталкивал. Результатов в выпуске не обсуждали, так что это пример не доказанной оптимизации, а устройства эксперимента: среда отвечает, человек проверяет.

Что останавливает агента

«Сделай идеально»

Правка Ревью Правка

Новый возможный недостаток становится новой задачей.

↻ Критерий завершения меняется по ходу работы

Проверяемая задача

Гипотеза Проверка

Сравнить результат с заранее заданным критерием.

  • Критерий выполненЗавершить
  • Нет, бюджет осталсяСледующая гипотеза
  • Лимит или блокерВернуться к человеку

Зачем звать людей

Ближе к концу Валера вернулся к своему посту. Для быстрой демки с вау-эффектом контроль можно ослабить. Когда вау-эффект сменяется людьми, деньгами, очередями и SLA, зовут людей: вместе смотрят глазами на код и конфиги, вычищают остатки экспериментов и управляют агентами детерминированнее — отдельный скилл для выкатки, отдельный для ревью.

Людей позвали не потому, что агенты пишут код хуже. Кто-то должен решить, что происходит с чужим запросом. Что означает имя модели. Когда прокси обрывает генерацию и можно ли её повторить. Когда новая модель перестаёт быть превью. Кто выкатывает и как участники видят друг друга. Агенту можно доверить исполнение, вплоть до выкатки на прод. Границы этой самостоятельности задаёт человек, который отвечает за сервис. «Сделай идеально» этих границ не задаёт.

Так что «доигрался в агентов» не про провал агентов. Это момент, когда изменения остались дешёвыми, а последствия перестали быть только твоими.

Посмотреть и послушать

Пилотный выпуск «300 токенов в секунду» — «Свой ИИ-провайдер: хобби или бизнес? Валера Ковальский — NeuralDeep». Полтора часа: от квартирного майнинга до префиксного кэша, бенчмарков и агентов на проде.

YouTubeВнешняя ссылка, откроется в новой вкладке · RUTUBEВнешняя ссылка, откроется в новой вкладке · VK ВидеоВнешняя ссылка, откроется в новой вкладке · MaveВнешняя ссылка, откроется в новой вкладке · Яндекс МузыкаВнешняя ссылка, откроется в новой вкладке

Источники

Связанные материалы