# CPO OpenAI и Anthropic о будущем ИИ: от чатов к проактивным агентам и модели o1 Источник: https://www.youtube.com/watch?v=IxkvVZua28k Канал: Lenny's Podcast Опубликовано: 06.11.2024 --- В новом выпуске Lenny’s Podcast встретились два ключевых игрока индустрии искусственного интеллекта: Кевин Вейл (Kevin Weil), CPO компании OpenAI, и Майк Кригер (Mike Krieger), CPO компании Anthropic. В беседе с инвестором Сарой Го (Sarah Guo) они обсудили, как меняются подходы к созданию продуктов в эпоху ИИ, почему традиционные навыки продакт-менеджмента требуют переосмысления и как «разумность» моделей становится новым инструментом проектирования интерфейсов. ## 🔄 От Instagram до ИИ: смена парадигмы в разработке [[JUMP:01:09]] Для обоих гостей переход в ИИ-лаборатории стал новым этапом после работы над массовыми социальными продуктами. Кевин Вейл, имеющий опыт работы в Twitter и Instagram, отмечает, что нынешняя роль — самая сложная и «бессонная» в его карьере [01:21]. По его словам, главная особенность работы в OpenAI заключается в том, что технологическая база не зафиксирована: каждые два месяца компьютеры начинают делать то, что никогда не могли делать в истории человечества [02:02]. Майк Кригер, сооснователь Instagram, признался, что его «полувыходной» статус после ухода из Meta продлился всего шесть недель. Его привлекла возможность работать в организациях, движимых фундаментальными исследованиями [02:52]. Кригер подчеркивает разницу в обратной связи: * В социальных сетях (B2C) работа идет с агрегированными данными и статистикой миллионов пользователей. * В Enterprise-секторе (B2B) клиенты имеют прямой финансовый стимул детально объяснять, где продукт «проседает», а где он эффективен [04:34]. Кевин Вейл добавляет, что в корпоративном секторе (Enterprise) продукт не всегда является главным фактором успеха. По его словам, у покупателя (байера) есть свои цели, которые могут не совпадать с восторгами конечных пользователей [05:01]. В качестве примера он привел запрос крупного клиента, который просил уведомлять о любых запусках за 60 дней — требование, которое практически невыполнимо в текущем темпе разработки OpenAI [05:29]. ## 📈 «Линия Мендосы» для ИИ: как проектировать при 60% успеха [[JUMP:08:20]] Одной из самых обсуждаемых тем стала работа с неидеальными моделями. Майк Кригер предложил использовать термин «линия Мендосы» (Mendoza Line — метафора из бейсбола, означающая минимально приемлемый уровень компетенции) для ИИ на уровне 60% точности выполнения задачи [12:14]. Кевин Вейл утверждает, что продукт может быть полезным, даже если модель ошибается в 40% случаев. Главное — правильно спроектировать опыт [10:56]: 1. **Human-in-the-loop (Человек в цикле):** Модель должна восприниматься как помощник, а не полная замена. Примером служит GitHub Copilot — даже если он не пишет идеальный код с первой попытки, он экономит время на наборе текста, а разработчик просто редактирует результат [11:09]. 2. **Понимание уверенности:** Важно, чтобы модель могла сама идентифицировать моменты, когда она не уверена, и возвращалась к пользователю за уточнением [11:48]. 3. **Обработка длинных задач:** Даже если экономится всего 5–10 минут на рутинной операции, это уже представляет огромную ценность для пользователя [11:48]. Майк Кригер отмечает, что успех часто распределяется неравномерно (bimodal nature): одна компания может заявить, что модель решила их проблему трехмесячной давности, а другая в тот же день скажет, что ИИ полностью бесполезен [12:40]. По его мнению, это происходит из-за различий в кастомных наборах данных и способах составления промптов. ## 🛠 Написание «евалов» (Evals) как главный навык PM будущего [[JUMP:14:35]] Оба CPO сошлись во мнении, что роль продакт-менеджера (PM) в 2024–2025 годах радикально трансформируется. Граница между PM по исследованиям (Research PM) и PM по интерфейсам стирается [14:47]. По словам Майка Кригера, в Anthropic ключевым этапом собеседования является задание на улучшение «евалов» (evaluations) — систем оценки качества ответов модели [14:11]. Он считает, что современные модели ограничены не интеллектом, а качеством инструментов их оценки (eval-limited) [13:07]. Кевин Вейл подтвердил, что в OpenAI создан специальный тренировочный лагерь (boot camp), где каждый PM обучается написанию евалов [15:27]. Рекомендации экспертов по развитию навыков в ИИ: * **Использовать ИИ для создания ИИ:** Можно просить сами модели составить примеры хороших евалов для конкретных задач [16:06]. * **Глубокая работа с данными:** Ничто не заменит ручного анализа кейсов, где модель терпит неудачу. Кригер утверждает, что часто проблема не в модели, а в «грейдере» (алгоритме оценки), который ошибочно помечает правильный ответ как неверный [16:32]. * **Прототипирование вместо Figma:** Лучшие PM теперь не ждут дизайнеров, а сразу просят модель (например, Claude или ChatGPT) сгенерировать варианты интерфейса или логики для сравнения [19:07]. ## 🧠 От системы 1 к системе 2: разбор модели o1 [[JUMP:29:15]] Кевин Вейл подробно объяснил концепцию новой модели OpenAI o1, которая представляет собой качественный сдвиг в развитии ИИ. Если предыдущие модели (GPT-4) работали по принципу «Системы 1» (быстрое, интуитивное, мгновенное предсказание следующего токена), то o1 реализует «Систему 2» — медленное, осознанное мышление [29:54]. Особенности работы o1 по мнению Вейла: * **Масштабирование во время запроса (Query time scaling):** Модель делает паузу (от 30 секунд до минуты), прежде чем ответить. В это время она строит гипотезы, проверяет их, ищет ошибки в своих рассуждениях и исправляет их [31:23]. * **Новый вектор развития:** Вейл сравнивает текущее состояние o1 с этапом GPT-1 для обычных моделей. Это только начало пути обучения моделей рассуждению [31:50]. * **Оркестрация моделей:** Сложные задачи в будущем будут решаться не одной моделью, а связкой. Например, o1 может заниматься логическим планированием, а более быстрые и дешевые модели — исполнением конкретных этапов или проверкой безопасности [32:40]. ## 🔮 Прогнозы на 6–12 месяцев: проактивность и асинхронность [[JUMP:33:37]] Обсуждая ближайшее будущее, спикеры выделили несколько ключевых направлений развития продуктов. Майк Кригер ставит на два фактора: 1. **Проактивность:** Модели перестанут быть только реактивными (отвечающими на вопрос). Они будут анализировать почту (с разрешения пользователя), замечать тренды, готовить резюме к утренним встречам и предлагать черновики презентаций до того, как их об этом попросят [33:50]. 2. **Асинхронность:** Мы уйдем от ожидания мгновенного ответа в чате. Пользователь сможет поставить задачу («исправь этот баг» или «подготовь проект планирования»), уйти по своим делам и получить результат через час, когда модель проведет необходимые исследования и проверку [34:27]. Кевин Вейл делает ставку на мультимодальность и стирание языковых барьеров. Он рассказал о своем опыте использования «продвинутого голосового режима» (Advanced Voice Mode) в Японии и Корее. Модель работала как переводчик в реальном времени, позволяя вести бизнес-переговоры людям, не имеющим общего языка [35:59]. По его мнению, это скоро станет обыденностью и изменит подход к путешествиям и глобальным коммуникациям [36:36]. ## 👨‍👩‍👧‍👦 Новые нормы: ИИ-нативные дети и личность моделей [[JUMP:37:43]] В конце встречи участники обсудили, как ИИ меняет человеческое поведение. Кевин Вейл заметил, что его дети (8 и 10 лет) воспринимают общение с ChatGPT в машине как абсолютно нормальное явление, задавая модели самые причудливые вопросы [37:43]. Сара Го поделилась, что её дети уже требуют от неё генерировать изображения и сказки в реальном времени, превращая потребление контента в интерактивное сотворчество [38:08]. Майк Кригер подчеркнул, что «поведение модели» (Model Behavior) становится полноценной продуктовой задачей. Пользователи начинают выстраивать с ИИ отношения, основанные на эмпатии. Когда выходит новая, более мощная модель, пользователи иногда чувствуют, что она стала «умнее, но холоднее», и им приходится заново адаптироваться к её «личности» [38:49].