Проблема производительности в эпоху ИИ: почему компании тратят миллиарды, но не видят отдачи
Индустрия искусственного интеллекта переживает момент, напоминающий ранние годы развития интернет-рекламы, когда компании вкладывали огромные средства без четкого понимания эффективности. Несмотря на то что генеративный ИИ называют «самым «горячим» технологическим сдвигом в истории», предприятия сталкиваются с критическим «проблемой атрибуции»: они закупают лицензии на сотни инструментов, но не имеют систем для оценки того, приносят ли эти инвестиции реальную пользу или просто раздувают операционные расходы (OpEx). Расс Фрериден, основатель компании Larin, и ведущий подкаста обсуждают, почему традиционные методы оценки — такие как корпоративные опросы — безнадежно устарели в условиях, когда глобальный рынок труда требует немедленной переквалификации сотрудников на технологии, появившиеся всего полгода назад.
🛠 Инфраструктура, которой нет: от AdTech к AI-продуктивности 2:50
История показывает, что масштабные сдвиги бюджетов — от телевидения к цифровой рекламе или от локальных серверов к облаку — всегда сопровождались необходимостью создания нового слоя инфраструктуры. В конце 90-х компании вроде DoubleClick, Comscore и Nielsen помогли рекламодателям понять, что именно они покупают и работает ли это. Сегодня в сфере ИИ подобного слоя аналитики практически не существует.
По словам Фреридена, главная проблема текущего этапа — отсутствие «системы координат» для оценки эффективности внедрения ИИ. Лидеры компаний, опрошенные Larin, признают:
- Около 70% руководителей считают, что их текущие ИИ-проекты неэффективны.
- У IT-директоров нет метрик производительности, кроме объема затраченных средств.
- Около 80–85% опрошенных компаний испытывают тревогу из-за необходимости в кратчайшие сроки стать лидерами рынка ИИ, иначе они рискуют отстать навсегда.
📊 Миф о «бесполезности» и поиск реальных метрик 11:14
Традиционный подход к измерению продуктивности — рассылка опросов сотрудникам с вопросом «Чувствуете ли вы себя более продуктивным?» — не работает, так как сотрудники склонны отвечать социально ожидаемым образом. Фрериден утверждает, что необходимо перейти к пассивному измерению поведенческих данных:
- Анализ реального использования: фиксируется ли факт использования инструментов (например, Harvey или чат-ботов) сотрудниками, или они просто куплены «для галочки».
- Агрегированная продуктивность: сравнение показателей между группами «тяжелых» пользователей ИИ и тех, кто их не использует.
- Сопоставление с «тоном» работы: корреляция между использованием ИИ и пропускной способностью отделов, например, скоростью ответов юридического департамента на запросы коллег.
Важным предостережением здесь выступает «закон Гудхарта»: как только какая-либо мера становится целевым показателем (таргетом), она перестает быть объективной метрикой. Если обязать сотрудников отправлять «больше сообщений», они будут имитировать активность, не создавая ценности.
🧑💻 Человек и машина: страх увольнения и поиск безопасности 33:04
Многие сотрудники боятся ИИ не из-за угрозы увольнения, а из-за необходимости постоянно учиться и риска совершить ошибку. Инициативы компаний часто терпят неудачу, потому что они не дают работникам чувства «безопасного пространства».
Фрериден подчеркивает, что секрет внедрения ИИ — в создании своего рода «поведенческой обвязки» (wrapper) вокруг LLM. Такие решения блокируют незаконные или нежелательные действия (например, загрузку конфиденциальных данных HR-отдела в общедоступный чат-бот), что позволяет сотрудникам быть продуктивными, не боясь при этом потерять работу из-за случайной ошибки.
🌍 Будущее труда: почему масштаб имеет значение 42:04
Собеседники сходятся во мнении, что опасения массовой безработицы из-за ИИ преувеличены. Рынок труда исторически адаптируется к технологическим сдвигам, и ни один крупный CEO, по наблюдениям Фреридена, не стремится сознательно сокращать размер своей компании — масштаб бизнеса является показателем успеха и источником ресурсов.
- Конкуренция: если одна компания решит заменить сотрудников ИИ и радикально сократить штат ради роста прибыли, конкуренты, которые продолжат инвестировать в людей, просто вытеснят их с рынка.
- Новые роли: ИИ Augmentation (дополнение способностей) делает хороших инженеров «богами», но не отменяет спрос на рабочую силу в других сферах.
- Продукт-маркетинг: текущая проблема ИИ — это в первую очередь проблема позиционирования. Вместо абстрактного «ИИ может всё» компаниям нужны конкретные «калькуляторы чаевых» — узкоспециализированные инструменты, решающие конкретные задачи сотрудников.
