Рамеш Джохари об управлении маркетплейсами, ИИ и экономике экспериментов

Lenny's Podcast 47,8 тыс. 1 ч 23 мин 10 мин 09.11.2023
Главное

В новом выпуске Lenny's Podcast ведущий Ленни Рачитский обсуждает со стэнфордским профессором Рамешем Джохари внутреннее устройство современных цифровых платформ. Эксперт подробно объясняет фундаментальные принципы построения успешных двусторонних рынков, методологию причинно-следственного вывода и парадоксы систем рейтингов. Главный фокус беседы направлен на то, как именно наука о данных помогает трансформировать классические бизнес-модели и почему в эпоху искусственного интеллекта роль человеческого суждения только возрастает.

⚖️ Что на самом деле продают маркетплейсы: концепция транзакционных издержек 5:47

Когда обыватели рассуждают о бизнесе крупнейших технологических платформ, они часто совершают фундаментальную ошибку в понимании их продуктовой сути. По словам Рамеша Джохари, средний пользователь считает, что Airbnb продает комнаты для проживания, а Uber торгует поездками. Однако профессор подчеркивает, что это не так: комнаты сдают хозяева недвижимости (хосты), а поездки осуществляют конкретные водители.

С точки зрения экономической теории, маркетплейсы продают не физический продукт или услугу, а устранение рыночных трений. В академической среде эти трения называют транзакционными издержками. Если бы базовые рынки функционировали идеально, условный пассажир мог бы легко найти водителя в любом городе в любое время без посредников. Но в реальности возникают так называемые провалы рынка (market failures): потребитель не знает, кто готов его подвезти прямо сейчас, а водитель не имеет доступа к массиву потенциальных клиентов.

Из этого тезиса Рамеш Джохари выводит ключевое правило для операторов платформ:

Как утверждает гость, непонимание этой концепции и фокус только на одной стороне рынка часто приводит начинающих предпринимателей к краху бизнес-модели на самых ранних этапах.

🧬 Три столпа дата-сайенса в управлении маркетплейсами 9:16

Архитектура торговли прошла долгий путь от древнегреческих агор и римских рынков Траяна, которые строились из массивного камня, до гибких цифровых интерфейсов 2023 года. Современные технологии позволяют мгновенно перестраивать бизнес-логику платформ, опираясь на алгоритмы. Рамеш Джохари выделяет три фундаментальные проблемы, которые каждый маркетплейс обязан решать с помощью науки о данных (Data Science):

  1. Поиск потенциальных совпадений (Finding matches). Алгоритмы должны определить, какие именно поставщики услуг или товаров физически способны удовлетворить запрос конкретного покупателя в данный момент времени и в данном географическом контексте.
  2. Оптимизация выбора (Making the match). Когда пул кандидатов сформирован, платформа помогает пользователю агрегировать и профильтровать информацию. В качестве примера из личной практики профессор приводит платформу oDesk (ныне upwork), где ключевой задачей дата-сайентистов в 2012 году была помощь нанимателям в триаже десятков входящих заявок от фрилансеров, которых они никогда не видели вживую.
  3. Обучение на основе совершенных сделок (Learning about matches). Платформа обязана собирать обратную связь, причем как активную (выставление звезд и написание отзывов), так и пассивную (фиксирование фактов раннего выезда из жилья или отмены заказов). Пост-транзакционные данные затем циклически возвращаются в систему, чтобы улучшить поиск и ранжирование для будущих периодов.

По мнению эксперта, именно эти три компонента формируют непрерывный маховик данных (data flywheel), снижающий транзакционные издержки.

🚀 Иллюзия «основателя маркетплейса» и поиск ликвидности 11:53

Главным операционным провалом многих стартаперов Рамеш Джохари считает преждевременную концентрацию на масштабировании классической модели маркетплейса. Профессор заявляет: ни один успешный маркетплейс не начинался непосредственно как маркетплейс. На этапе зарождения у компании физически отсутствует ключевой актив — масштабная двусторонняя ликвидность (scaled liquidity).

В качестве успешного примера преодоления этой фазы гость приводит кейс Urban sitter — платформы для поиска нянь. В самом начале проект решал одну изолированную и острую проблему родителей — отсутствие наличных денег для оплаты услуг старшеклассников в эпоху до появления Venmo. Сервис просто предоставил возможность оплаты безналичным расчетом через банковские карты. Затем, используя социальные графы Facebook, они выстроили систему доверенных рекомендаций между знакомыми. Лишь накопив критическую массу пользователей, Urban sitter трансформировал монетизацию: вместо комиссии за эквайринг они перешли на подписку и плату за организацию интервью с нянями.

Аналогично развивался фриланс-сервис oDesk. Его первоначальная ценность заключалась не в обилии заказов, а в предоставлении инструментов контроля удаленной работы: софт делал скриншоты экранов исполнителей и трекал часы, решая базовую проблему тотального недоверия между заказчиком и подрядчиком на расстоянии.

Для проверки жизнеспособности бизнеса Рамеш Джохари предлагает использовать «тест на запах» (smell test) для масштабной ликвидности:

В качестве классического хака ликвидности упоминается ранняя стратегия Uber Black: команда заходила в новые города, бесплатно раздавая купоны на поездки на вечеринках. Они искусственно субсидировали сторону предложения (водителей), чтобы гарантировать моментальный отклик для первых пассажиров и запустить рыночный маховик.

Профессор также напоминает об экономической дилемме Рональда Коуза («Рынок или фирма»). Предпринимателям не всегда нужно строить именно свободный маркетплейс. Иногда специфика услуги (например, как в Stitch fix или в медицинских платформах физиотерапии) требует жесткого контроля и глубокой курации пула исполнителей, вплоть до прямого найма в штат, поскольку клиентам критически важна стабильность и долгосрочные доверительные отношения.

🎯 Прогнозирование против принятия решений: ловушка корреляции 28:14

Точки приложения усилий дата-сайентистов сильно зависят от специфики бизнеса. В Uber или Door Dash аналитики традиционно фокусируются на алгоритмах динамического ценообразования (surge pricing), реагирующих на сиюминутные колебания спроса и предложения. В Airbnb, где цены устанавливают сами хосты, ключевой точкой приложения усилий аналитиков становится поисковая выдача.

Однако Рамеш Джохари предостерегает команды от фундаментальной ловушки, в которую часто попадают специалисты по машинному обучению (ML). По его мнению, большинство современных ML-моделей нацелены исключительно на прогнозирование (prediction) на основе исторических корреляций. Они отлично ищут паттерны в прошлых данных, отвечая на вопрос: «Кто из фрилансеров с наибольшей вероятностью будет нанят на эту вакансию?».

Но бизнес устроен иначе — ему нужно принимать решения (decision making), что требует понимания причинно-следственных связей (causal inference). Профессор иллюстрирует это классическим примером из области маркетинга и расчета пожизненной ценности клиента (LTV):

«Директор по маркетингу никогда не получит нагоняй, если отправит самые дорогие и выгодные промокоды клиентам с наивысшим показателем LTV. Но это стратегическая ошибка. Бизнес должна интересовать не абсолютная величина LTV пользователя, а дифференциал — то есть то, на сколько конкретно увеличится его трата на платформе именно благодаря получению этого промокода. Клиент с высоким LTV мог бы совершить покупку и без скидки, а значит, компания просто сожгла маржу. Прогнозирование фиксирует корреляции, но принятие эффективных решений всегда опирается на каузальность».

При оценке поисковых алгоритмов маркетплейса нельзя судить об их качестве по тому, насколько точно они воспроизводят бронирования прошлых лет. Единственный верный критерий — проведение контролируемых экспериментов, доказывающих, что новый алгоритм генерирует дополнительный чистый объем бронирований и выручки в будущем.

🔄 Культура экспериментов: выход за рамки локальных максимумов 39:29

Повальное увлечение современными A/B-тестированиями таит в себе скрытую угрозу для бизнеса. Компании, декларирующие, что они «тестируют абсолютно всё», неизбежно скатываются в микрооптимизацию, застревая в локальных экстремумах и упуская крупные стратегические возможности. Рамеш Джохари, ссылаясь на авторитетное исследование специалистов из Microsoft, выделяет две системные проблемы корпоративной культуры тестирования:

Причина кроется в искаженной системе мотивации. Внутри технологических гигантов KPI сотрудников и дата-сайентистов жестко привязаны к количеству «побед» (wins) за квартал. Чтобы гарантировать себе успешный перформанс-ревью, аналитики выбирают копеечные изменения интерфейса и крутят тесты месяцами, чтобы выжать статистическую значимость.

Профессор призывает радикально переосмыслить подход. В фундаментальной науке эксперимент никогда не оценивался категориями «выиграл или проиграл». Эксперимент — это инструмент проверки гипотез. Если крупное, рискованное изменение «проиграло» на тесте (то есть не вырастило целевую метрику), но дало компании глубокое понимание эластичности спроса или поведения пользователей — это колоссальная победа для бизнеса.

Ленни Рачитский подтвердил этот тезис личной историей времен работы в Airbnb, когда он руководил запуском программы Superhost («Суперхозяин»). Профильный дата-сайентист команды категорически протестовал против ручного выделения топ-хозяев специальными значками (бейджами) в поисковой выдаче, утверждая, что это разрушит идеально сбалансированный математический алгоритм ранжирования. Проведенный A/B-тест показал абсолютно плоский, нулевой результат по краткосрочным бронированиям и выручке. С точки зрения стандартных KPI это был провал. Однако руководство приняло волевое решение запустить проект, поскольку он фундаментально влиял на долгосрочное удержание качественных арендодателей и их лояльность, что невозможно было замерить в рамках стандартного двухнедельного теста.

Рамеш Джохари формулирует важное правило: менеджмент маркетплейса — это вечная игра в «бей крота» (whack-a-mole). Любое значимое алгоритмическое изменение перераспределяет трафик, создавая явных победителей и проигравших внутри платформы. Профессор цитирует Саса Салена (экс-CFO upwork и Thumbtack), который отмечал, что зрелость руководителя маркетплейса определяется его способностью открыто признать: созданные им «победители» важнее для стратегического выживания бизнеса, чем те участники рынка, которых платформа в процессе перераспределения внимания сделала «проигравшими».

🧮 Баиесовский подход, инфляция рейтингов и «цена знаний» 53:12

Для преодоления пороков стандартной аналитики Рамеш Джохари предлагает внедрять в практику платформ инструменты баиесовского A/B-тестирования вместо классического частотного (frequentist) подхода. Частотный анализ заставляет команду смотреть на каждый тест изолированно, полностью игнорируя бэкграунд. Баиесовский метод, напротив, позволяет математически зафиксировать накопленный опыт компании в виде «априорного убеждения» (prior belief) и плавно корректировать его новыми данными, оценивая вклад каждого эксперимента в общую копилку знаний организации.

Профессор напоминает, что получение знаний никогда не бывает бесплатным. Он делится анекдотичным кейсом из практики одной крупной real estate платформы: дата-менеджер без официального одобрения руководства в течение года держал огромную контрольную группу пользователей (holdout group), которой вообще не показывались никакие продуктовые продуктовые обновления и фичи. В конце года выяснилось, что из-за отсутствия улучшений для этой группы компания недополучила несколько миллионов долларов живой выручки. Когда менеджеру устроили разнос, он хладнокровно ответил: «Зато теперь вы точно знаете, сколько стоит работа моей команды, и у вас никогда не было бы этого ответа, если бы я не рискнул деньгами».

Отдельный пласт исследований профессора посвящен механике отзывов. На всех современных платформах наблюдается системная проблема — инфляция рейтингов. Средний и медианный баллы неуклонно ползут вверх, стремясь к абсолютным 5.0. Это происходит из-за феномена взаимной вежливости (reciprocity): людям психологически трудно и некомфортно ставить плохие оценки человеку, с которым они взаимодействовали лично. В итоге четырехзвездочный отзыв сегодня воспринимается как оскорбление и попытка разрушить бизнес исполнителя.

Для борьбы с этим дефектом Рамеш Джохари рекомендует менять формулировки шкал, смещая фокус на соответствие ожиданиям. Например, вместо абстрактного «отлично» использовать маркер «превзошло ожидания» или внедрять сравнительные вопросы («Было ли это проживание лучше, чем ваша средняя поездка в этом году?»).

Также стандартное арифметическое усреднение звезд крайне несправедливо распределяет риски:

Решением, по мнению профессора, снова выступает баиесовское сглаживание: система должна изначально присваивать новичку умеренно-позитивный априорный рейтинг и не позволять единичным эксцессам выбрасывать новых участников с рынка.

🤖 Роль человека в эпоху генеративного искусственного интеллекта 1:09:00

Комментируя бум больших языковых моделей (LLM), Рамеш Джохари категорически отвергает популярный тезис о том, что искусственный интеллект вскоре полностью автоматизирует и заменит инженеров по данным и аналитиков. В рутинных операциях прогресс очевиден: писать код, строить графики и разворачивать базовые дашборды с помощью ИИ стало в разы быстрее.

Однако истинное влияние генеративного ИИ заключается в другом. Он создал астрономический взрыв возможных вариантов, гипотез и траекторий для анализа. Там, где раньше маркетолог мог придумать и протестировать 10 креативов для рекламной кампании, сегодня с помощью нейросетей он за секунды генерирует 1000 вариантов.

Такое расширение технологических возможностей не снижает, а критически увеличивает нагрузку на человеческое суждение. Ключевой задачей человека в контуре данных (human-in-the-loop) становится жесткая фильтрация, сужение воронки и выбор тех немногих направлений, на которых компании действительно стоит сфокусировать свое дефицитное внимание.

💬 Цитаты

«Прогнозирование фиксирует корреляции, но принятие эффективных решений всегда опирается на каузальность.»

Рамеш Джохари 34:25

«Менеджмент маркетплейса — это вечная игра в «бей крота». Любое значимое изменение создает победителей и проигравших.»

Рамеш Джохари 50:06
👥 Спикеры
📚 Упомянутые книги
🎬 Упомянутые фильмы и сериалы
🔗 Упомянутые сайты и проекты
📖 Термины
Транзакционные издержки
Затраты времени, сил и ресурсов на поиск контрагента, заключение сделки и проверку её надежности.
Провал рынка
Ситуация, при которой свободный рынок не может обеспечить эффективное распределение ресурсов без внешнего посредника.
Причинно-следственный вывод (Causal Inference)
Область статистики, изучающая реальное влияние одного фактора на другой в противовес случайным совпадениям.
Инфляция рейтингов
Процесс постепенного завышения средних оценок на платформе, из-за чего разница между хорошим и плохим сервисом размывается.
📊 Цифры
🗓 Хронология
  1. 1954 Выход культовой книги Дэрила Хаффа о манипуляциях в статистике.
  2. 2012 Рамеш Джохари возглавляет команду дата-сайенса в oDesk и знакомится с Райли Ньюманом из Airbnb.
  3. Ноябрь 2022 Релиз ChatGPT, фундаментально изменивший подход к написанию кода и генерации продуктовых гипотез.
⚖️ Другая сторона
Стартапы и бизнес Рамеш Джохари Ленни Рачитский Airbnb Uber Data Science