Как оценить ROI и эффективность AI/LLM-разработки: методология, метрики и практика

Оценка возврата инвестиций от AI-проектов сложнее, чем от традиционных ИТ-внедрений. Эффект распределен во времени, часть его косвенная, а сравнивать «до» и «после» можно только если базовые показатели зафиксированы заранее. Компании, которые начинают считать ROI (возврат инвестиций) после запуска, почти всегда сталкиваются с одной проблемой: непонятно, с чем сравнивать. Этот гайд — про то, как выстроить методологию до старта, какие метрики работают для разных типов AI-решений и где чаще всего ошибаются при оценке.

ROI AI-проекта — это соотношение полученного эффекта к вложенным затратам с учетом полного цикла владения. В отличие от внедрения ERP или CRM, AI-проекты дают эффект постепенно, а часть выгод — косвенная: меньше ошибок, выше качество решений, снижение нагрузки на экспертов.

До старта нужно зафиксировать текущие метрики процесса (baseline), полные затраты на внедрение и эксплуатацию (TCO), и критерии, по которым будет оцениваться успех пилота.

Baseline — это базовые показатели процесса до внедрения AI. Без него невозможно измерить эффект, потому что не с чем сравнивать.

Типичная ошибка: попытка восстановить baseline после запуска пилота. Данные за прошлые периоды часто неполны или несопоставимы с тем, что начинает фиксировать новая система. Baseline собирают до старта, а не потом.

Отдельный случай, когда baseline посчитать не по чему: метрики не собирались в прежних системах или процесс шел на ручном контроле. Тогда базовые показатели не восстанавливают задним числом, а фиксируют за короткий замерный период до старта: 2–4 недели замеров на текущем процессе дают точку отсчета. Если и такой возможности нет, применяют экспертную оценку по выборке операций с пометкой, что это приблизительная база.

ROI рассчитывается по стандартной формуле: ROI = (Эффект − Затраты) / Затраты × 100%.

Для AI-проектов важно правильно определить обе части.

Пример условного расчета: Процесс: обработка входящих обращений в службу поддержки. До внедрения: 200 обращений в день, среднее время — 15 минут, стоимость часа специалиста — 1 500 ₽. После внедрения AI: время сократилось до 5 минут на типовое обращение, 70% обращений закрываются автоматически.

Экономия в день: 200 × 0,7 × (15/60) × 1 500 = 52 500 ₽. За год: 52 500 × 250 рабочих дней = 13,1 млн ₽. TCO за год: 5 млн ₽ (разработка) + 1,5 млн ₽ (инфраструктура и поддержка) = 6,5 млн ₽. ROI за год: (13,1 − 6,5) / 6,5 × 100% = 101%.

Это упрощенный и оптимистичный расчет. Он не учитывает ошибки модели, долю необработанных обращений и затраты на доработку. Реальные цифры зависят от специфики процесса, стоимости команды и полноты автоматизации.

Метрики операционного эффекта от AI делятся на четыре группы: скорость, качество, нагрузка и стоимость. Для каждого процесса выбирают 2–3 ключевые метрики.

Чтобы отделить эффект AI от других факторов, нужно фиксировать метрики на контрольной группе (процессе без AI) параллельно с пилотом. Если контрольная группа невозможна, лучше использовать данные за аналогичный период прошлого года.

Метрики качества разработки показывают, насколько стабильно и надежно работает система. Их связывают с ROI через стоимость инцидентов и переделок.

Связь с ROI: каждый инцидент в реальной эксплуатации стоит денег — простой, переработки команды, ручные компенсации пользователям. Снижение числа дефектов после релиза напрямую влияет на TCO.

Метрики LLM-ассистента делятся на две группы: качество ответов (точность, галлюцинации) и принятие системы пользователями (возврат).

Галлюцинации модели — специфический риск LLM. Для снижения: RAG-архитектура с обязательными ссылками на источник, регулярная проверка по эталонной выборке, ограничение контура данных только проверенными источниками.

Внедрение ERP оценивают по шести группам метрик: скорость закрытия периода, точность данных, операционные затраты, скорость формирования отчетов, число ошибок в учете и TCO на горизонте 3 лет.

Внедрение ERP считается успешным, когда система стабильно используется всеми ключевыми подразделениями, данные сходятся без ручных корректировок и скорость подготовки управленческой отчетности выросла. Обычно это происходит через 6–12 месяцев после запуска, а не в день релиза.

Большинство ошибок при оценке ROI от AI происходят не из-за сложности методологии, а из-за пропуска базовых шагов. Три наиболее критичные:

Нет baseline. Без зафиксированных метрик до внедрения невозможно посчитать эффект. Команда говорит «стало лучше», но сравнивать не с чем. Это самая распространенная и самая дорогостоящая ошибка — исправить ее после запуска крайне сложно.

Считают только прямую экономию, игнорируя TCO. Проект на 8 млн ₽ по смете разработки за три года превращается в 15–20 млн ₽ с учетом инфраструктуры, поддержки и доработок. Чаще всего это не перерасход — просто эти затраты не включили в исходный расчет.

Оценивают пилот по ощущениям. «Команде нравится, руководитель доволен» — и на этом останавливаются. Без цифр невозможно принять решение о масштабировании и обосновать его перед советом директоров.

Остальные частые ошибки:

Оценка ROI от AI в российских госкорпорациях отличается от международной практики тремя факторами: закупочные процедуры по 44-ФЗ (федеральный закон о контрактной системе) и 223-ФЗ (федеральный закон о закупках отдельных видов юридических лиц) удлиняют цикл внедрения, требования 152-ФЗ и ФСТЭК ограничивают выбор инструментов, а обоснование инвестиций перед советом директоров требует иного формата, чем в коммерческом бизнесе.

Для обоснования инвестиций работает следующая структура: сначала текущие потери в деньгах и времени, затем конкретный сценарий внедрения, далее условный расчет экономии, срок окупаемости и план пилота с фиксированными метриками. Абстрактные обещания «цифровой трансформации» без цифр согласование не проходят.

Для работы в закрытом контуре используют GigaChat и YandexGPT. Они поддерживают развертывание на российской инфраструктуре и не требуют передачи данных за пределы контура компании.

Срок окупаемости зависит от масштаба внедрения и выбранного процесса. Пилот на одном типовом процессе может выйти в плюс за 6–12 месяцев. Полноценное платформенное внедрение — за 18–36 месяцев. Ключевой фактор: насколько точно зафиксирован baseline и насколько высока была стоимость ручного процесса до внедрения.

Формально можно — через экспертную оценку или отраслевые бенчмарки. Но такой расчет будет приблизительным и уязвимым при защите перед советом директоров. Baseline лучше собирать за 4–8 недель до старта пилота.

Ориентир для корпоративных AI-проектов — от 100% за первые 12–24 месяца на операционных процессах с высоким объемом повторяющихся задач. Стратегические эффекты (качество решений, скорость аналитики) считаются отдельно и обычно не включаются в базовый расчет ROI.

Для обоснования инвестиций в российских реалиях работает следующая структура. Сначала текущие потери в деньгах и времени, затем конкретный сценарий внедрения, далее условный расчет экономии, срок окупаемости и план пилота с фиксированными метриками. Абстрактные обещания цифровой трансформации без цифр согласование не проходят.

LLM-ассистент дает быстрый эффект на операционных задачах и считается проще — есть конкретный процесс, есть метрики. ERP влияет на широкий контур управления, эффект распределен по многим функциям и считается сложнее. Горизонт оценки для ERP обычно 3–5 лет против 12–24 месяцев для LLM-пилота.

Закладывать в план 1–3 месяца на адаптацию и обучение, считать adoption rate как отдельную метрику и не включать полный эффект в расчет ROI раньше, чем система вышла на стабильное использование. Сопротивление снижает реальный эффект на 20–40% в первые месяцы.

Проанализировать три вещи: правильно ли выбран процесс для пилота, достаточно ли качественны данные и достиг ли adoption rate достаточного уровня. Отрицательный ROI на пилоте чаще говорит о неготовности данных или неверно выбранном сценарии, чем о проблеме с технологией.