Подкаст
Зачем Битрикс24 своя AI-платформа?
Разговор о том, зачем компании своя AI-платформа и как выбирать между MaaS и self-hosted: модели, GPU, тесты качества, контекст, префикс-кэш и команда.
Автор — Сергей Нотевский
- Площадка
- «Куда расти?» · Максим Ульянов
- Формат
- Подкаст
- Дата выпуска
Ключевые выводы
- Граница AI Platform. Платформа объединяет общий контур работы с моделями, а не заменяет продуктовые команды. 33:26
- MaaS и self-hosted. Выбор зависит от данных, качества, нагрузки и ответственности за эксплуатацию. 1:10:36
- Инфраструктура и GPU. Экономика собственной инфраструктуры начинается с профиля нагрузки и полезной загрузки, а не с цены одного ускорителя. 1:15:28
- Свои тесты качества. Модель проверяют на сценариях продукта: опубликованные бенчмарки не отвечают за его результат. 1:33:54
- Prefix cache. Повторное использование общей части запроса зависит от стабильности префикса в реальном агентном сценарии. 1:43:05
- Команда платформы. Платформе нужны продуктовые, инфраструктурные и quality-роли. 1:56:51
- Рост инженера. В эпоху AI ценны умение разбираться в новой области, собирать систему и отвечать за её результат. 2:04:02
Как устроен разговор
Отдельно рассказываю о своём пути: несколько лет на технической стороне продукта, первые AI-сценарии после выхода ChatGPT, продуктовая роль и затем AI Platform.
В основной части разбираем MaaS и self-hosted, инфраструктуру и GPU, собственные тесты качества, контекст и prefix cache. Ещё говорим о ролях в команде AI Platform и о том, как инженеру расти в области, где инструменты меняются быстрее привычных специализаций.