В новом выпуске Lenny’s Podcast встретились два ключевых игрока индустрии искусственного интеллекта: Кевин Вейл (Kevin Weil), CPO компании OpenAI, и Майк Кригер (Mike Krieger), CPO компании Anthropic. В беседе с инвестором Сарой Го (Sarah Guo) они обсудили, как меняются подходы к созданию продуктов в эпоху ИИ, почему традиционные навыки продакт-менеджмента требуют переосмысления и как «разумность» моделей становится новым инструментом проектирования интерфейсов.
🔄 От Instagram до ИИ: смена парадигмы в разработке 1:09
Для обоих гостей переход в ИИ-лаборатории стал новым этапом после работы над массовыми социальными продуктами. Кевин Вейл, имеющий опыт работы в Twitter и Instagram, отмечает, что нынешняя роль — самая сложная и «бессонная» в его карьере . По его словам, главная особенность работы в OpenAI заключается в том, что технологическая база не зафиксирована: каждые два месяца компьютеры начинают делать то, что никогда не могли делать в истории человечества .
Майк Кригер, сооснователь Instagram, признался, что его «полувыходной» статус после ухода из Meta продлился всего шесть недель. Его привлекла возможность работать в организациях, движимых фундаментальными исследованиями . Кригер подчеркивает разницу в обратной связи:
- В социальных сетях (B2C) работа идет с агрегированными данными и статистикой миллионов пользователей.
- В Enterprise-секторе (B2B) клиенты имеют прямой финансовый стимул детально объяснять, где продукт «проседает», а где он эффективен .
Кевин Вейл добавляет, что в корпоративном секторе (Enterprise) продукт не всегда является главным фактором успеха. По его словам, у покупателя (байера) есть свои цели, которые могут не совпадать с восторгами конечных пользователей . В качестве примера он привел запрос крупного клиента, который просил уведомлять о любых запусках за 60 дней — требование, которое практически невыполнимо в текущем темпе разработки OpenAI .
📈 «Линия Мендосы» для ИИ: как проектировать при 60% успеха 8:20
Одной из самых обсуждаемых тем стала работа с неидеальными моделями. Майк Кригер предложил использовать термин «линия Мендосы» (Mendoza Line — метафора из бейсбола, означающая минимально приемлемый уровень компетенции) для ИИ на уровне 60% точности выполнения задачи .
Кевин Вейл утверждает, что продукт может быть полезным, даже если модель ошибается в 40% случаев. Главное — правильно спроектировать опыт :
- Human-in-the-loop (Человек в цикле): Модель должна восприниматься как помощник, а не полная замена. Примером служит GitHub Copilot — даже если он не пишет идеальный код с первой попытки, он экономит время на наборе текста, а разработчик просто редактирует результат .
- Понимание уверенности: Важно, чтобы модель могла сама идентифицировать моменты, когда она не уверена, и возвращалась к пользователю за уточнением .
- Обработка длинных задач: Даже если экономится всего 5–10 минут на рутинной операции, это уже представляет огромную ценность для пользователя .
Майк Кригер отмечает, что успех часто распределяется неравномерно (bimodal nature): одна компания может заявить, что модель решила их проблему трехмесячной давности, а другая в тот же день скажет, что ИИ полностью бесполезен . По его мнению, это происходит из-за различий в кастомных наборах данных и способах составления промптов.
🛠 Написание «евалов» (Evals) как главный навык PM будущего 14:35
Оба CPO сошлись во мнении, что роль продакт-менеджера (PM) в 2024–2025 годах радикально трансформируется. Граница между PM по исследованиям (Research PM) и PM по интерфейсам стирается .
По словам Майка Кригера, в Anthropic ключевым этапом собеседования является задание на улучшение «евалов» (evaluations) — систем оценки качества ответов модели . Он считает, что современные модели ограничены не интеллектом, а качеством инструментов их оценки (eval-limited) . Кевин Вейл подтвердил, что в OpenAI создан специальный тренировочный лагерь (boot camp), где каждый PM обучается написанию евалов .
Рекомендации экспертов по развитию навыков в ИИ:
- Использовать ИИ для создания ИИ: Можно просить сами модели составить примеры хороших евалов для конкретных задач .
- Глубокая работа с данными: Ничто не заменит ручного анализа кейсов, где модель терпит неудачу. Кригер утверждает, что часто проблема не в модели, а в «грейдере» (алгоритме оценки), который ошибочно помечает правильный ответ как неверный .
- Прототипирование вместо Figma: Лучшие PM теперь не ждут дизайнеров, а сразу просят модель (например, Claude или ChatGPT) сгенерировать варианты интерфейса или логики для сравнения .
🧠 От системы 1 к системе 2: разбор модели o1 29:15
Кевин Вейл подробно объяснил концепцию новой модели OpenAI o1, которая представляет собой качественный сдвиг в развитии ИИ. Если предыдущие модели (GPT-4) работали по принципу «Системы 1» (быстрое, интуитивное, мгновенное предсказание следующего токена), то o1 реализует «Систему 2» — медленное, осознанное мышление .
Особенности работы o1 по мнению Вейла:
- Масштабирование во время запроса (Query time scaling): Модель делает паузу (от 30 секунд до минуты), прежде чем ответить. В это время она строит гипотезы, проверяет их, ищет ошибки в своих рассуждениях и исправляет их .
- Новый вектор развития: Вейл сравнивает текущее состояние o1 с этапом GPT-1 для обычных моделей. Это только начало пути обучения моделей рассуждению .
- Оркестрация моделей: Сложные задачи в будущем будут решаться не одной моделью, а связкой. Например, o1 может заниматься логическим планированием, а более быстрые и дешевые модели — исполнением конкретных этапов или проверкой безопасности .
🔮 Прогнозы на 6–12 месяцев: проактивность и асинхронность 33:37
Обсуждая ближайшее будущее, спикеры выделили несколько ключевых направлений развития продуктов.
Майк Кригер ставит на два фактора:
- Проактивность: Модели перестанут быть только реактивными (отвечающими на вопрос). Они будут анализировать почту (с разрешения пользователя), замечать тренды, готовить резюме к утренним встречам и предлагать черновики презентаций до того, как их об этом попросят .
- Асинхронность: Мы уйдем от ожидания мгновенного ответа в чате. Пользователь сможет поставить задачу («исправь этот баг» или «подготовь проект планирования»), уйти по своим делам и получить результат через час, когда модель проведет необходимые исследования и проверку .
Кевин Вейл делает ставку на мультимодальность и стирание языковых барьеров. Он рассказал о своем опыте использования «продвинутого голосового режима» (Advanced Voice Mode) в Японии и Корее. Модель работала как переводчик в реальном времени, позволяя вести бизнес-переговоры людям, не имеющим общего языка . По его мнению, это скоро станет обыденностью и изменит подход к путешествиям и глобальным коммуникациям .
👨👩👧👦 Новые нормы: ИИ-нативные дети и личность моделей 37:43
В конце встречи участники обсудили, как ИИ меняет человеческое поведение. Кевин Вейл заметил, что его дети (8 и 10 лет) воспринимают общение с ChatGPT в машине как абсолютно нормальное явление, задавая модели самые причудливые вопросы . Сара Го поделилась, что её дети уже требуют от неё генерировать изображения и сказки в реальном времени, превращая потребление контента в интерактивное сотворчество .
Майк Кригер подчеркнул, что «поведение модели» (Model Behavior) становится полноценной продуктовой задачей. Пользователи начинают выстраивать с ИИ отношения, основанные на эмпатии. Когда выходит новая, более мощная модель, пользователи иногда чувствуют, что она стала «умнее, но холоднее», и им приходится заново адаптироваться к её «личности» .
