Когда компания решает завести свой ИИ, обычно начинают с модели: подключают API, дают ассистенту имя и встраивают в чат. Без остальных слоёв такой ассистент через месяц уверенно цитирует несуществующие регламенты, называет новичку зарплату руководителя и советует клиенту конкурента.
Кого считали.
- B2C-продукт, 150 человек, один ассистент на поддержку, сотрудников и аналитику.
- 2 000 запросов в день (~48 млн токенов) с ростом +50% в год.
- 4 вызова модели на запрос, ~24k токенов.
- ~5 000 документов. SSO, DWH с dbt, хелпдеск и облако уже есть.
- Модель малая, по API, $1 / $5 за миллион токенов, или своя open weight на 2–4 GPU.
- Инженер стоит $600 в день.
Все цифры дальше дают порядок величины. Как мы их получили, написано в сноске в конце.
15 слоёв и что ломается без каждого
Наведите на слой или нажмите на него
Context
Knowledge base
Что делает
документы, каталог данных и связи между ними; находит разрешённое пользователю
Без него
выдумывает регламенты и цены
Готово, когда
нужный источник в топ-5 на 90% тестовых вопросов
- разработка
- $9–16k
- развитие в месяц
- $1.8–3k
- инфраструктура в месяц
- $150–300
- стартап
- $184k
- маркетплейс
- $574k
- Open source
- OpenSearch, pgvector, DataHub, Neo4j
- SaaS
- Pinecone, Atlan, Azure AI Search
Все 15 слоёв: $55–104k на разработку, $10–20k в месяц на развитие и $1.9–5.4k в месяц на инфраструктуру.
Больше всего денег уходит на контекст (46%) и агентную часть (28%). Модель по API в разработке почти ничего не стоит: её стоимость приходит позже, в счёте за токены.


Ответы текстом и ответы числами
На эти вопросы отвечают разные слои:
- «что сказано в регламенте» — Knowledge base, поиск по документам с учётом прав;
- «сколько было заказов в октябре» — semantic layer с готовыми определениями метрик.
Чаще всего ошибаются именно здесь. Если агент ищет цифры поиском по текстам или пишет SQL сам, ответы получаются правдоподобными и неверными, и два сотрудника получают разные цифры на один вопрос.
Три этапа запуска
Если ресурсов на весь стек сразу нет, это не мешает начать. Слои ставятся в три этапа, и после каждого этапа система уже работает у пользователей.


Пилот, $16–30k
Ассистент по документам для одной команды. Модель, промпт, evals и трейсы полностью. Облегчённо: база знаний для одной команды с правами из источника, harness в один вызов без цикла, 2–3 инструмента и навыка в git, внутренний чат, базовые правила против инъекций и gateway с ключами и журналом вызовов. Персональные данные в пилоте ещё не маскируются, поэтому он работает на внутренних документах без данных клиентов. Готово, когда команда пользуется ассистентом каждый день и эталонные вопросы проходят.
Продакшен, ещё $22–40k
Ассистент в чате поддержки: выполняет действия, помнит клиента, соблюдает права и передаёт сложные случаи оператору. Облегчённые слои пилота доводятся до полных: у базы знаний появляются владельцы и проверка свежести, у инструментов и навыков каталог с правами и версиями, фильтр блокирует инъекции. Gateway маскирует персональные данные до отправки в модель, держит бюджеты и переключает на запасную модель при сбое.
Масштаб, ещё $17–34k
Ответы числами из DWH и контроль счёта за токены. Gateway получает кэш и роутинг, когда токены стоят больше ~$3k в месяц. Feedback превращает плохие ответы пользователей в тесты. Готово, когда цифры агента сходятся с отчётами, а оценки пользователей раз в неделю попадают в evals.
Четыре правила, которые мы держим:
- каждый этап запускаем на живых пользователях;
- evals и трейсы ставим до первой правки промпта;
- к следующему этапу переходим только после «готово, когда»;
- числа подключаем последними: без semantic layer агент угадывает SQL.
Open source, гибрид или SaaS
Стек собирается тремя способами:
Open source
Всё своё, включая open weight модель на своих GPU (Qwen, Kimi, DeepSeek, GLM).
Гибрид
Своя open weight модель берёт простые задачи, сложные уходят во внешний API, чат, фильтры и наблюдаемость покупаются как SaaS.
SaaS
Всё у вендоров.


Для стартапа на 2 000 запросов в день:
| Open source | Гибрид | SaaS | |
|---|---|---|---|
| Разработка | $60–115k | $50–96k | $34–64k |
| За 5 лет | $1.61–2.35M | $1.26–2.17M | $1.13–2.62M |
| Куда уходят деньги | работа 60%, инфраструктура 40% | работа 52%, лицензии 23%, инфраструктура 15%, токены 9% | лицензии 51%, работа 31%, токены 17% |
| Плюсы | данные не уходят наружу, нет счёта за токены | половина токенов не зависит от цен вендора, ПДн не уходят наружу | самый дешёвый первый год, меньше всего людей |
| Минусы | дороже всех при таком объёме, GPU и MLOps на вас | три контура эксплуатации, часть счёта растёт с трафиком | счёт растёт с трафиком, 6–10 вендоров и договоров |
| Когда выбирать | данные нельзя выносить или API дороже $10–20k в месяц | ПДн должны оставаться внутри, а объём ниже точки окупаемости GPU | нужно быстро проверить гипотезу |
В средней оценке гибрид дешевле всех, $1.69M за пять лет, SaaS стоит $1.83M, open source $1.97M. Разница в пределах ~15%, поэтому на таком объёме стек выбирают по команде и требованиям к данным. У SaaS самая длинная риска: его счёт привязан к запросам и местам и к пятому году растёт быстрее остальных.
Тот же стек мы посчитали ещё для двух компаний: средней (1 000 человек, 10 000 запросов в день) и маркетплейса (3 000 человек, 50 000 запросов в день, ~2 млрд токенов, +30% в год, 5 вызовов по 8k токенов, ~200 000 документов, три инженера в платформе). Стоимость за пять лет:
| Компания | Запросов в день | Open source | Гибрид | SaaS | Оптимально |
|---|---|---|---|---|---|
| Стартап, 150 человек | 2 000 | $1.97M | $1.69M | $1.83M | гибрид |
| Средняя, 1 000 человек | 10 000 | $2.4M | $3.0M | $4.1M | open source |
| Маркетплейс, 3 000 человек | 50 000 | $4.7M | $9.8M | $16.2M | open source |
Среднюю компанию мы интерполировали между стартапом и маркетплейсом по объёму токенов. Маркетплейс в 7 раз выше точки окупаемости своей модели: токены становятся главной статьёй расходов, и open source обходится дешевле трети SaaS.
Слои во всех трёх случаях одинаковые, а какой вариант дешевле, определяет объём запросов.
Разбивку гибрида по слоям, стартап и маркетплейс за пять лет, можно посмотреть в пирамиде выше: наведите на слой.
Риски стоимости токенов
Цена за токен падает каждый квартал. При этом агентные циклы, память и reasoning тратят на каждый запрос всё больше токенов, и общий счёт растёт.
- Переход на флагманскую модель утраивает счёт за один релиз.
- Если токены подорожают вдвое, за пять лет это +$316k в SaaS и +$160k в гибриде. Open source от этой цены не зависит.
- Риск снижают лимит токенов на запрос в Harness, алерт по стоимости в трейсах, лимит хранения в памяти и перевод части запросов на свою модель.
Когда своя модель дешевле API
Затраты на свою модель почти не зависят от объёма: две GPU ради отказоустойчивости и инженер. Счёт за API растёт вместе с запросами.
Для моделей среднего уровня линии пересекаются около 7 000 запросов в день, это ≈170 млн токенов. Для уровня флагманов порог около 11 000 запросов (≈260 млн токенов): крупной open weight модели нужны узлы из 8 GPU.


Своя модель
окупается, если:
- запросов больше порога;
- нагрузка ровная и GPU не простаивают ночью;
- есть хотя бы один инженер на MLOps;
- данные нельзя выносить к провайдеру API.
API
остаётся выгоднее, если:
- запросов меньше 5 000 в день (≈120 млн токенов);
- нагрузка пиковая и GPU половину времени простаивают;
- нужна лучшая модель рынка, у которой нет открытых весов.
Пять выводов
Начинайте с пилота для одной команды
Он стоит $16–30k: четыре слоя полностью и шесть в облегчённой версии. Все 15 слоёв стоят $55–104k и строятся за три этапа.
Evals и трейсы ставятся в первый день
Без них любая правка промпта или смена модели становится гаданием, и поломку первым замечает клиент.
Контекст и агент занимают ~75% разработки
Работа уходит в базу знаний, semantic layer, harness и канал. Модель в бюджете разработки занимает небольшую строку.
Малый масштаб: стеки стоят почти одинаково
При 2 000 запросов в день гибрид, open source и SaaS за пять лет расходятся в пределах ~15%. Стек выбирают по команде и требованиям к данным.
Сравнивайте стеки по цене решённого запроса
При одинаковом качестве и со всеми затратами: эскалации, повторные обращения, поддержка. Цена токена сама по себе вводит в заблуждение.
С чего начать
Пилот стоит $16–30k, при ставке $600 в день это примерно один-два месяца работы:
- модель по API и промпт в git;
- 20–50 эталонных вопросов в evals;
- лог каждого шага в трейсах;
- облегчённые база знаний, harness, 2–3 инструмента и навыка, внутренний чат, фильтр и gateway.
Следующие слои добавляются по мере появления проблем:
- ассистент выдумывает регламенты — доводить базу знаний;
- от него ждут действий — нужны каталог инструментов и навыков и права;
- растёт счёт — нужны кэш и роутер.
Модель за это время сменится пару раз, а слои останутся теми же.
Проверить, какие слои у вас уже есть, можно за десять минут: проверка готовности к AI показывает цель для компании вашего размера и разрыв до неё.
