Skip to content

Блог · 14 ноября 2026 · Александр Бараков

15 слоёв своего ИИ: что делает каждый и сколько он стоит.

Разбираем корпоративного ИИ-ассистента на 15 слоёв, показываем, в каком порядке их ставить, сравниваем open source, гибрид и SaaS на пяти годах и считаем, с какого объёма запросов окупается своя модель.

Когда компания решает завести свой ИИ, обычно начинают с модели: подключают API, дают ассистенту имя и встраивают в чат. Без остальных слоёв такой ассистент через месяц уверенно цитирует несуществующие регламенты, называет новичку зарплату руководителя и советует клиенту конкурента.

Кого считали.

  • B2C-продукт, 150 человек, один ассистент на поддержку, сотрудников и аналитику.
  • 2 000 запросов в день (~48 млн токенов) с ростом +50% в год.
  • 4 вызова модели на запрос, ~24k токенов.
  • ~5 000 документов. SSO, DWH с dbt, хелпдеск и облако уже есть.
  • Модель малая, по API, $1 / $5 за миллион токенов, или своя open weight на 2–4 GPU.
  • Инженер стоит $600 в день.

Все цифры дальше дают порядок величины. Как мы их получили, написано в сноске в конце.

15 слоёв и что ломается без каждого

Наведите на слой или нажмите на него

Context

Knowledge base

Что делает

документы, каталог данных и связи между ними; находит разрешённое пользователю

Без него

выдумывает регламенты и цены

Готово, когда

нужный источник в топ-5 на 90% тестовых вопросов

разработка
$9–16k
развитие в месяц
$1.8–3k
инфраструктура в месяц
$150–300
Гибрид за 5 лет
стартап
$184k
маркетплейс
$574k
Open source
OpenSearch, pgvector, DataHub, Neo4j
SaaS
Pinecone, Atlan, Azure AI Search

Все 15 слоёв: $55–104k на разработку, $10–20k в месяц на развитие и $1.9–5.4k в месяц на инфраструктуру.

Больше всего денег уходит на контекст (46%) и агентную часть (28%). Модель по API в разработке почти ничего не стоит: её стоимость приходит позже, в счёте за токены.

Доли бюджета разработки по шести блокам: Context 46%, Agent 28%, Access 11%, Control 10%, Run & Cost 3%, Model 1%Доли бюджета разработки по шести блокам: Context 46%, Agent 28%, Access 11%, Control 10%, Run & Cost 3%, Model 1%
Доли от середины диапазона разработки, $55–104k.

Ответы текстом и ответы числами

На эти вопросы отвечают разные слои:

  • «что сказано в регламенте» — Knowledge base, поиск по документам с учётом прав;
  • «сколько было заказов в октябре» — semantic layer с готовыми определениями метрик.

Чаще всего ошибаются именно здесь. Если агент ищет цифры поиском по текстам или пишет SQL сам, ответы получаются правдоподобными и неверными, и два сотрудника получают разные цифры на один вопрос.

Три этапа запуска

Если ресурсов на весь стек сразу нет, это не мешает начать. Слои ставятся в три этапа, и после каждого этапа система уже работает у пользователей.

Какие слои ставятся на каждом из трёх этапов и сколько стоит этапКакие слои ставятся на каждом из трёх этапов и сколько стоит этап
Квадрат: слой ставится на этом этапе, пунктир: облегчённая версия, галочка: слой уже работает.
  • Пилот, $16–30k

    Ассистент по документам для одной команды. Модель, промпт, evals и трейсы полностью. Облегчённо: база знаний для одной команды с правами из источника, harness в один вызов без цикла, 2–3 инструмента и навыка в git, внутренний чат, базовые правила против инъекций и gateway с ключами и журналом вызовов. Персональные данные в пилоте ещё не маскируются, поэтому он работает на внутренних документах без данных клиентов. Готово, когда команда пользуется ассистентом каждый день и эталонные вопросы проходят.

  • Продакшен, ещё $22–40k

    Ассистент в чате поддержки: выполняет действия, помнит клиента, соблюдает права и передаёт сложные случаи оператору. Облегчённые слои пилота доводятся до полных: у базы знаний появляются владельцы и проверка свежести, у инструментов и навыков каталог с правами и версиями, фильтр блокирует инъекции. Gateway маскирует персональные данные до отправки в модель, держит бюджеты и переключает на запасную модель при сбое.

  • Масштаб, ещё $17–34k

    Ответы числами из DWH и контроль счёта за токены. Gateway получает кэш и роутинг, когда токены стоят больше ~$3k в месяц. Feedback превращает плохие ответы пользователей в тесты. Готово, когда цифры агента сходятся с отчётами, а оценки пользователей раз в неделю попадают в evals.

Четыре правила, которые мы держим:

  • каждый этап запускаем на живых пользователях;
  • evals и трейсы ставим до первой правки промпта;
  • к следующему этапу переходим только после «готово, когда»;
  • числа подключаем последними: без semantic layer агент угадывает SQL.

Open source, гибрид или SaaS

Стек собирается тремя способами:

  • Open source

    Всё своё, включая open weight модель на своих GPU (Qwen, Kimi, DeepSeek, GLM).

  • Гибрид

    Своя open weight модель берёт простые задачи, сложные уходят во внешний API, чат, фильтры и наблюдаемость покупаются как SaaS.

  • SaaS

    Всё у вендоров.

Затраты стартапа по годам на пять лет для open source, гибрида и SaaS на общей шкалеЗатраты стартапа по годам на пять лет для open source, гибрида и SaaS на общей шкале
Тыс. $ в год. Столбик: трафик растёт на 50% в год, риска: от нулевого роста до 80%. Шкала у трёх графиков общая.

Для стартапа на 2 000 запросов в день:

Open sourceГибридSaaS
Разработка$60–115k$50–96k$34–64k
За 5 лет$1.61–2.35M$1.26–2.17M$1.13–2.62M
Куда уходят деньгиработа 60%, инфраструктура 40%работа 52%, лицензии 23%, инфраструктура 15%, токены 9%лицензии 51%, работа 31%, токены 17%
Плюсыданные не уходят наружу, нет счёта за токеныполовина токенов не зависит от цен вендора, ПДн не уходят наружусамый дешёвый первый год, меньше всего людей
Минусыдороже всех при таком объёме, GPU и MLOps на вастри контура эксплуатации, часть счёта растёт с трафикомсчёт растёт с трафиком, 6–10 вендоров и договоров
Когда выбиратьданные нельзя выносить или API дороже $10–20k в месяцПДн должны оставаться внутри, а объём ниже точки окупаемости GPUнужно быстро проверить гипотезу

В средней оценке гибрид дешевле всех, $1.69M за пять лет, SaaS стоит $1.83M, open source $1.97M. Разница в пределах ~15%, поэтому на таком объёме стек выбирают по команде и требованиям к данным. У SaaS самая длинная риска: его счёт привязан к запросам и местам и к пятому году растёт быстрее остальных.

Тот же стек мы посчитали ещё для двух компаний: средней (1 000 человек, 10 000 запросов в день) и маркетплейса (3 000 человек, 50 000 запросов в день, ~2 млрд токенов, +30% в год, 5 вызовов по 8k токенов, ~200 000 документов, три инженера в платформе). Стоимость за пять лет:

КомпанияЗапросов в деньOpen sourceГибридSaaSОптимально
Стартап, 150 человек2 000$1.97M$1.69M$1.83Mгибрид
Средняя, 1 000 человек10 000$2.4M$3.0M$4.1Mopen source
Маркетплейс, 3 000 человек50 000$4.7M$9.8M$16.2Mopen source

Среднюю компанию мы интерполировали между стартапом и маркетплейсом по объёму токенов. Маркетплейс в 7 раз выше точки окупаемости своей модели: токены становятся главной статьёй расходов, и open source обходится дешевле трети SaaS.

Слои во всех трёх случаях одинаковые, а какой вариант дешевле, определяет объём запросов.

Разбивку гибрида по слоям, стартап и маркетплейс за пять лет, можно посмотреть в пирамиде выше: наведите на слой.

Риски стоимости токенов

Цена за токен падает каждый квартал. При этом агентные циклы, память и reasoning тратят на каждый запрос всё больше токенов, и общий счёт растёт.

  • Переход на флагманскую модель утраивает счёт за один релиз.
  • Если токены подорожают вдвое, за пять лет это +$316k в SaaS и +$160k в гибриде. Open source от этой цены не зависит.
  • Риск снижают лимит токенов на запрос в Harness, алерт по стоимости в трейсах, лимит хранения в памяти и перевод части запросов на свою модель.

Когда своя модель дешевле API

Затраты на свою модель почти не зависят от объёма: две GPU ради отказоустойчивости и инженер. Счёт за API растёт вместе с запросами.

Для моделей среднего уровня линии пересекаются около 7 000 запросов в день, это ≈170 млн токенов. Для уровня флагманов порог около 11 000 запросов (≈260 млн токенов): крупной open weight модели нужны узлы из 8 GPU.

Стоимость слоя модели в месяц: API против своей модели на GPU, точка пересечения около 7 000 запросов в деньСтоимость слоя модели в месяц: API против своей модели на GPU, точка пересечения около 7 000 запросов в день
Модели среднего уровня. Ступени на линии своей модели означают докупку GPU.

Своя модель

окупается, если:

  • запросов больше порога;
  • нагрузка ровная и GPU не простаивают ночью;
  • есть хотя бы один инженер на MLOps;
  • данные нельзя выносить к провайдеру API.

API

остаётся выгоднее, если:

  • запросов меньше 5 000 в день (≈120 млн токенов);
  • нагрузка пиковая и GPU половину времени простаивают;
  • нужна лучшая модель рынка, у которой нет открытых весов.

Пять выводов

  • Начинайте с пилота для одной команды

    Он стоит $16–30k: четыре слоя полностью и шесть в облегчённой версии. Все 15 слоёв стоят $55–104k и строятся за три этапа.

  • Evals и трейсы ставятся в первый день

    Без них любая правка промпта или смена модели становится гаданием, и поломку первым замечает клиент.

  • Контекст и агент занимают ~75% разработки

    Работа уходит в базу знаний, semantic layer, harness и канал. Модель в бюджете разработки занимает небольшую строку.

  • Малый масштаб: стеки стоят почти одинаково

    При 2 000 запросов в день гибрид, open source и SaaS за пять лет расходятся в пределах ~15%. Стек выбирают по команде и требованиям к данным.

  • Сравнивайте стеки по цене решённого запроса

    При одинаковом качестве и со всеми затратами: эскалации, повторные обращения, поддержка. Цена токена сама по себе вводит в заблуждение.

С чего начать

Пилот стоит $16–30k, при ставке $600 в день это примерно один-два месяца работы:

  • модель по API и промпт в git;
  • 20–50 эталонных вопросов в evals;
  • лог каждого шага в трейсах;
  • облегчённые база знаний, harness, 2–3 инструмента и навыка, внутренний чат, фильтр и gateway.

Следующие слои добавляются по мере появления проблем:

  • ассистент выдумывает регламенты — доводить базу знаний;
  • от него ждут действий — нужны каталог инструментов и навыков и права;
  • растёт счёт — нужны кэш и роутер.

Модель за это время сменится пару раз, а слои останутся теми же.

Проверить, какие слои у вас уже есть, можно за десять минут: проверка готовности к AI показывает цель для компании вашего размера и разрыв до неё.

Александр Бараков

Автор

Александр Бараков

Комментарии и возражения пишите в LinkedIn или на info@stop-token.com.