Оценка возврата инвестиций от AI-проектов сложнее, чем от традиционных ИТ-внедрений. Эффект распределен во времени, часть его косвенная, а сравнивать «до» и «после» можно только если базовые показатели зафиксированы заранее. Компании, которые начинают считать ROI (возврат инвестиций) после запуска, почти всегда сталкиваются с одной проблемой: непонятно, с чем сравнивать. Этот гайд — про то, как выстроить методологию до старта, какие метрики работают для разных типов AI-решений и где чаще всего ошибаются при оценке.
Зачем считать ROI от AI и почему это сложнее обычного ИТ-проекта
ROI AI-проекта — это соотношение полученного эффекта к вложенным затратам с учетом полного цикла владения. В отличие от внедрения ERP или CRM, AI-проекты дают эффект постепенно, а часть выгод — косвенная: меньше ошибок, выше качество решений, снижение нагрузки на экспертов.
Три уровня эффекта от AI:
- Прямая экономия — снижение затрат на ручные операции, обработку обращений, подготовку документов.
- Косвенный эффект — ускорение процессов, снижение числа ошибок, рост качества решений.
- Стратегический эффект — конкурентное преимущество, накопление данных, ускорение цикла разработки.
До старта нужно зафиксировать текущие метрики процесса (baseline), полные затраты на внедрение и эксплуатацию (TCO), и критерии, по которым будет оцениваться успех пилота.
Как зафиксировать baseline до внедрения
Baseline — это базовые показатели процесса до внедрения AI. Без него невозможно измерить эффект, потому что не с чем сравнивать.
Типичная ошибка: попытка восстановить baseline после запуска пилота. Данные за прошлые периоды часто неполны или несопоставимы с тем, что начинает фиксировать новая система. Baseline собирают до старта, а не потом.
Отдельный случай, когда baseline посчитать не по чему: метрики не собирались в прежних системах или процесс шел на ручном контроле. Тогда базовые показатели не восстанавливают задним числом, а фиксируют за короткий замерный период до старта: 2–4 недели замеров на текущем процессе дают точку отсчета. Если и такой возможности нет, применяют экспертную оценку по выборке операций с пометкой, что это приблизительная база.
Методология расчета ROI для AI/LLM-проектов
ROI рассчитывается по стандартной формуле: ROI = (Эффект − Затраты) / Затраты × 100%.
Для AI-проектов важно правильно определить обе части.
Алгоритм расчета ROI:
- Зафиксировать baseline по целевым метрикам.
- Провести пилот и измерить эффект на реальном процессе.
- Рассчитать экономию: (время до − время после) × число операций × стоимость часа.
- Рассчитать TCO (совокупную стоимость владения): разработка + инфраструктура + лицензии + поддержка + обучение.
- Применить формулу ROI на горизонте 12–36 месяцев.
Пример условного расчета: Процесс: обработка входящих обращений в службу поддержки. До внедрения: 200 обращений в день, среднее время — 15 минут, стоимость часа специалиста — 1 500 ₽. После внедрения AI: время сократилось до 5 минут на типовое обращение, 70% обращений закрываются автоматически.
Экономия в день: 200 × 0,7 × (15/60) × 1 500 = 52 500 ₽. За год: 52 500 × 250 рабочих дней = 13,1 млн ₽. TCO за год: 5 млн ₽ (разработка) + 1,5 млн ₽ (инфраструктура и поддержка) = 6,5 млн ₽. ROI за год: (13,1 − 6,5) / 6,5 × 100% = 101%.
Это упрощенный и оптимистичный расчет. Он не учитывает ошибки модели, долю необработанных обращений и затраты на доработку. Реальные цифры зависят от специфики процесса, стоимости команды и полноты автоматизации.
Метрики эффективности AI-сервиса: снижение затрат и операционный эффект
Метрики операционного эффекта от AI делятся на четыре группы: скорость, качество, нагрузка и стоимость. Для каждого процесса выбирают 2–3 ключевые метрики.
Чтобы отделить эффект AI от других факторов, нужно фиксировать метрики на контрольной группе (процессе без AI) параллельно с пилотом. Если контрольная группа невозможна, лучше использовать данные за аналогичный период прошлого года.
Метрики качества разработки корпоративного web-сервиса
Метрики качества разработки показывают, насколько стабильно и надежно работает система. Их связывают с ROI через стоимость инцидентов и переделок.
Связь с ROI: каждый инцидент в реальной эксплуатации стоит денег — простой, переработки команды, ручные компенсации пользователям. Снижение числа дефектов после релиза напрямую влияет на TCO.
Метрики LLM-ассистента: польза для сотрудников
Метрики LLM-ассистента делятся на две группы: качество ответов (точность, галлюцинации) и принятие системы пользователями (возврат).
Галлюцинации модели — специфический риск LLM. Для снижения: RAG-архитектура с обязательными ссылками на источник, регулярная проверка по эталонной выборке, ограничение контура данных только проверенными источниками.
Метрики эффективности внедрения ERP-системы
Внедрение ERP оценивают по шести группам метрик: скорость закрытия периода, точность данных, операционные затраты, скорость формирования отчетов, число ошибок в учете и TCO на горизонте 3 лет.
Внедрение ERP считается успешным, когда система стабильно используется всеми ключевыми подразделениями, данные сходятся без ручных корректировок и скорость подготовки управленческой отчетности выросла. Обычно это происходит через 6–12 месяцев после запуска, а не в день релиза.
Типичные ошибки при оценке ROI от AI
Большинство ошибок при оценке ROI от AI происходят не из-за сложности методологии, а из-за пропуска базовых шагов. Три наиболее критичные:
Нет baseline. Без зафиксированных метрик до внедрения невозможно посчитать эффект. Команда говорит «стало лучше», но сравнивать не с чем. Это самая распространенная и самая дорогостоящая ошибка — исправить ее после запуска крайне сложно.
Считают только прямую экономию, игнорируя TCO. Проект на 8 млн ₽ по смете разработки за три года превращается в 15–20 млн ₽ с учетом инфраструктуры, поддержки и доработок. Чаще всего это не перерасход — просто эти затраты не включили в исходный расчет.
Оценивают пилот по ощущениям. «Команде нравится, руководитель доволен» — и на этом останавливаются. Без цифр невозможно принять решение о масштабировании и обосновать его перед советом директоров.
Остальные частые ошибки:
Специфика оценки ROI в российских госкорпорациях и производстве
Оценка ROI от AI в российских госкорпорациях отличается от международной практики тремя факторами: закупочные процедуры по 44-ФЗ (федеральный закон о контрактной системе) и 223-ФЗ (федеральный закон о закупках отдельных видов юридических лиц) удлиняют цикл внедрения, требования 152-ФЗ и ФСТЭК ограничивают выбор инструментов, а обоснование инвестиций перед советом директоров требует иного формата, чем в коммерческом бизнесе.
Для обоснования инвестиций работает следующая структура: сначала текущие потери в деньгах и времени, затем конкретный сценарий внедрения, далее условный расчет экономии, срок окупаемости и план пилота с фиксированными метриками. Абстрактные обещания «цифровой трансформации» без цифр согласование не проходят.
Для работы в закрытом контуре используют GigaChat и YandexGPT. Они поддерживают развертывание на российской инфраструктуре и не требуют передачи данных за пределы контура компании.
FAQ
Как долго окупается AI-проект в корпоративной среде?
Срок окупаемости зависит от масштаба внедрения и выбранного процесса. Пилот на одном типовом процессе может выйти в плюс за 6–12 месяцев. Полноценное платформенное внедрение — за 18–36 месяцев. Ключевой фактор: насколько точно зафиксирован baseline и насколько высока была стоимость ручного процесса до внедрения.
Можно ли посчитать ROI от AI без данных baseline?
Формально можно — через экспертную оценку или отраслевые бенчмарки. Но такой расчет будет приблизительным и уязвимым при защите перед советом директоров. Baseline лучше собирать за 4–8 недель до старта пилота.
Какой ROI считается хорошим для AI-проекта?
Ориентир для корпоративных AI-проектов — от 100% за первые 12–24 месяца на операционных процессах с высоким объемом повторяющихся задач. Стратегические эффекты (качество решений, скорость аналитики) считаются отдельно и обычно не включаются в базовый расчет ROI.
Как обосновать инвестиции в AI перед советом директоров?
Для обоснования инвестиций в российских реалиях работает следующая структура. Сначала текущие потери в деньгах и времени, затем конкретный сценарий внедрения, далее условный расчет экономии, срок окупаемости и план пилота с фиксированными метриками. Абстрактные обещания цифровой трансформации без цифр согласование не проходят.
Чем ROI от LLM-ассистента отличается от ROI от ERP-системы?
LLM-ассистент дает быстрый эффект на операционных задачах и считается проще — есть конкретный процесс, есть метрики. ERP влияет на широкий контур управления, эффект распределен по многим функциям и считается сложнее. Горизонт оценки для ERP обычно 3–5 лет против 12–24 месяцев для LLM-пилота.
Как учесть сопротивление сотрудников при расчете ROI?
Закладывать в план 1–3 месяца на адаптацию и обучение, считать adoption rate как отдельную метрику и не включать полный эффект в расчет ROI раньше, чем система вышла на стабильное использование. Сопротивление снижает реальный эффект на 20–40% в первые месяцы.
Что делать, если пилот показал отрицательный ROI?
Проанализировать три вещи: правильно ли выбран процесс для пилота, достаточно ли качественны данные и достиг ли adoption rate достаточного уровня. Отрицательный ROI на пилоте чаще говорит о неготовности данных или неверно выбранном сценарии, чем о проблеме с технологией.