Как оценивать поставщиков AI-решений: практическая рамка для руководителей

Почему большинство оценок проваливается

Прототип, который работает на демонстрации, ещё должен дойти до продакшена. В опросе McKinsey 2024 года респонденты чаще всего называли срок в один-четыре месяца от старта проекта до вывода генеративного AI в продакшен — McKinsey, 2024. Разрыв между убедительной демонстрацией и работающей системой — это и есть то место, где оценка либо окупается, либо проваливается.

Большинство организаций оценивает поставщиков AI-решений неверно. Они проводят проверку концепции на чистых данных, видят впечатляющие цифры и подписывают договор — а потом обнаруживают, что реальность продакшена совсем другая.

Вот на что смотреть вместо этого.

Четыре измерения оценки

1. Требования к данным

Любой AI-системе нужны данные. Ключевые вопросы: какие данные нужны этой системе? Есть ли они у нас? В каком формате? Кто ими владеет?

2. Сложность интеграции

ИИ не существует в вакууме. Он должен встроиться в существующие системы. Попросите поставщика дать реалистичный график интеграции именно с вашим стеком.

3. Совокупная стоимость владения

Стоимость лицензии редко бывает основной статьёй. Учитывайте подготовку данных, инженерию интеграции, мониторинг и переобучение.

4. Объяснимость

В регулируемых отраслях — финансы, здравоохранение — нужно уметь объяснить, почему модель приняла решение. Не все модели это позволяют.

Вопросы для любой демонстрации

До подписания чего-либо попросите поставщика провести демонстрацию на ваших данных, а не на его показательном наборе. Спросите, что происходит, когда модель ошибается: кто несёт ответственность и как это исправляется. Попросите контакт клиента из вашей отрасли, чей продукт работает не менее 12 месяцев, а не только что запущен. Эти три вопроса показывают, как поставщик ведёт себя, когда что-то идёт не так, — до того, как вы связаны договором.

Тревожные признаки в предложении поставщика

• Показатель точности без тестового набора. Спросите, на каких данных он измерен и можете ли вы повторить измерение сами.
• Нет плана мониторинга. Модель, которая работает в первый день, со временем отклоняется по мере изменения ваших данных. Кто-то должен за этим следить, и в предложении должно быть сказано кто.
• Цена покрывает только лицензию. Интеграция, подготовка данных и поддержка — это и есть работа; если их нет в предложении, они придут запросами на изменения.
• Ваши данные или промпты становятся их собственностью. Проверьте, кому принадлежат обученная модель, промпты и журналы и что вы сможете забрать, если уйдёте.
• Нет человека в контуре. Для любого важного решения должен быть описан способ, которым человек проверяет, исправляет и отменяет результат.

Пилот на ваших данных

Пилот отвечает на один вопрос: работает ли это у нас? Держите его узким и договоритесь о правилах до старта.

1. 01
   Выберите один процесс

   , у которого уже есть измеряемый исходный показатель.

2. 02
   Зафиксируйте критерии успеха письменно

   до первого теста: метрику, порог и тестовые данные.

3. 03
   Подключите пилот к одной реальной системе

   , а не к выгрузке в таблицу, чтобы проблемы интеграции вскрылись сейчас.

4. 04
   Разберите каждую ошибку

   , а не только среднее значение. Ошибки показывают, как будет выглядеть эксплуатация.

После подписания

Относитесь к системе как к продукту, которым вы управляете, а не как к сделанной покупке. Назначьте ответственного на своей стороне, ведите журнал неверных ответов и того, как их исправили, и держите план выхода: данные, промпты и настройки, которые понадобятся для перехода к другому поставщику. Если нужен второй взгляд на предложение, мы разбираем предложения поставщиков AI на ваших данных и системах.