KAIVIX

Считайте, что агент сделал, а не сколько он работал

Окупаемость ИИ-агента можно посчитать, как фирма из Дубая: вся выдача, минус пустое, остаток во времени. И почему рост запросов в 21 раз это другое.

Данил Иванов5 мин

Короткий ответ. Salesforce сообщил, что запросов к его агенту стало в 21 раз больше, и назначил цену $50 за пользователя в месяц. Business Wheel из Дубая посчитал своих 37 агентов, выкинул больше половины их выдачи как пустую и оставил около 152 часов при $100 расходов на ИИ. Запрос ещё не работа. Прежде чем платить за места, посчитайте выдачу агента на одном процессе.

За одну неделю вышли две новости про агентов, и меряют они разное. 4 ноября Salesforce сообщил, что за три месяца использование Agentforce Coworker выросло в 21 раз, и ввёл цену $50 за пользователя в месяц. 8 ноября дубайская фирма Business Wheel опубликовала, что на деле выдали 37 агентов, которых собрали её собственные сотрудники.

Первая цифра говорит, что агентом пользуются. Вторая пытается сказать, что агент сделал. Если вам в этом квартале предлагают места, вам нужна вторая, и собрать её вы можете сами.

Что именно выросло в 21 раз?

Запросы. В посте самого Salesforce это почти шесть миллионов запросов к Coworker за сентябрь по всему миру и больше 185 000 пользователей.

Цифра честная, и спорить с ней я не буду. Она просто отвечает на другой вопрос. Запрос – это то, что человек напечатал. Из него вы не узнаете, пригодился ли ответ, пришлось ли его переделывать и не сделал бы человек эту задачу и так.

Через два дня TahawulTech поставил заголовок о том, что компании ОАЭ передают ИИ настоящую работу, и процитировал главу Salesforce по Ближнему Востоку. Но 21 раз и 185 000 – мировые цифры, по ОАЭ отдельного счёта никто не публиковал. Сам Coworker, как его описывает Salesforce, возвращает человеку результат и предлагаемые действия, а человек их проверяет и одобряет. Так что запрос в лучшем случае только начинает работу.

Как Business Wheel посчитал своих агентов?

Посчитал всё, выкинул пустое и назвал остаток ёмкостью, а не деньгами.

Подробности лежат в примечаниях к пресс-релизу. 28 сентября фирма провела внутренний буткемп по ИИ, и после него сотрудники шести отделов собрали 37 агентов на ClickUp, рабочей платформе, которой они уже пользовались. С запуска, в основном в сентябре, агенты выдали больше 2 300 задач, комментариев и сообщений.

Дальше фирма сделала три вещи, которые вендоры в своих кейсах обычно пропускают:

  1. Оценила одну запись. Запись – это всё, что агент выложил: задача, комментарий, сообщение. Из бенчмарка самого ClickUp фирма вывела около девяти минут человеческой работы на запись.
  2. Выкинула пустое. Убрала рутинные проверки «ничего нового», повторные сверки и диалоги настройки. Это больше половины сырого счёта.
  3. Назвала остаток. Около 152 часов, примерно $7 600 по ставке ClickUp $50 в час, против примерно $100 на работу ИИ. В релизе прямо написано, что это освобождённая ёмкость, а не сэкономленные деньги.
Salesforce CoworkerBusiness Wheel
Что измереноЗапросы и пользователиЗаписи агентов минус пустые
ЕдиницаЗапросЧас человеческой работы
Чьи цифрыSalesforce, по мируФирма, о самой себе
Что не посчитаноСтал ли запрос готовой работойВремя сотрудников на сборку и проверку агентов

Слабое место здесь – ставка. Девять минут на запись фирма взяла из бенчмарка вендора платформы и применила ко всем агентам. Личных диалогов сотрудников с их агентами она не видит, поэтому сама называет свои цифры нижней границей. Обе оговорки фирма вынесла в релиз, а большинство кейсов не дают и этого.

Что это меняет в арифметике?

Цифры становятся меньше, зато вы можете их проверить.

Пересчитайте по данным самого релиза. 2 300 записей по девять минут дают около 345 часов. Уберите пустую половину, и останется 152, около 44 % сырого счёта. На 37 агентов выходит примерно четыре часа на агента с сентября. Основную часть дают несколько загруженных агентов на расписании, а тех, кем никто не пользуется, фирма обещает снимать.

Теперь поставьте рядом цену места. Двадцать мест по $50 стоят вам $1 000 в месяц. При той же ставке $50 в час места должны освобождать около 20 часов в месяц, по часу на человека. Планка выглядит низкой, и она низкая. Трудность в слове «освобождать». Час по ставке вендора чего-то стоит, только если ваши люди потратили его на то, за что вы иначе заплатили бы.

Подписку и свою разработку в деньгах мы сравнивали в статье подписка или своя разработка. Здесь шаг до этого сравнения: пока вы не посчитали сделанную работу, ни одна цена мало что значит.

Как провести такой счёт у себя?

Вам понадобятся один процесс, замер до агента и заранее заданный результат. Всё остальное в корзину.

  1. Один процесс, один владелец. Возьмите то, что повторяется каждую неделю, например черновики ответов на запросы поставщиков. Счёт пусть ведёт тот, кто делает эту работу сейчас.
  2. Замер до агента. Две недели записывайте, сколько занимает работа и как часто она бывает. Business Wheel по четырём агентам взял время «до» и «после», которое записали их владельцы. Это самые сильные цифры в его релизе.
  3. Результат заранее. Ответ, отправленный без переделки, – результат. Черновик, который переписали с нуля, не результат. Проверка, которая ничего не нашла, тоже нет. Запишите это правило до запуска агента.
  4. Месяц счёта. Считайте только результаты, умножайте их на время из замера и вычитайте минуты, которые ваши люди потратили на проверку. Итог называйте освобождёнными часами. В деньги переводите, только когда можете назвать, на что эти часы ушли.

Труднее всего третий шаг. Агент выдаёт много активности, и модель не скажет, какая из её выдач имела значение. Это решаете вы или ваш сотрудник, и это решение и есть основная работа.

Обучение этот вопрос тоже не закрывает, об этом мы писали в статье обучение это не внедрение. Если ваши сотрудники собирают агентов сами, сначала составьте их список. Об этом статья кто в компании уже подключил ИИ к вашим данным.

Когда мы строим ИИ-сотрудника, мы начинаем с этого счёта: сколько ваш процесс стоит сейчас и что вы будете считать сделанным. Агент появляется потом.

Данил Иванов

Основатель KAIVIX

Строит AI-системы для компаний в ОАЭ и за их пределами.

Узнайте, где утекает выручка

Заказать аудит

Читать дальше