Брет Тейлор о рынке ИИ: «Пре-трейнинг для стартапов — это сжигание капитала»

20VC (Harry Stebbings) 17,8 тыс. 1 ч 16 мин 5 мин 02.10.2024
Главное

Брет Тейлор, одна из самых влиятельных фигур в Кремниевой долине, сооснователь Sierra и председатель совета директоров OpenAI, в беседе с Гарри Стеббингсом анализирует текущее состояние индустрии искусственного интеллекта. В этом интервью Тейлор объясняет, почему большинство компаний совершают ошибку, пытаясь обучать собственные модели с нуля, проводит параллели между ИИ-пузырем и эпохой доткомов и описывает будущее, где интерфейсы приложений уступят место разговорному софту.

📉 ИИ-пузырь и уроки эпохи доткомов 7:25

Брет Тейлор признает, что индустрия ИИ сейчас находится в состоянии пузыря, однако он считает это явление скорее позитивным, чем деструктивным . По его мнению, текущая ситуация напоминает пузырь доткомов конца 90-х: история не повторяется буквально, но «рифмуется». Тейлор утверждает, что, несмотря на крах таких проектов, как pets.com, именно в тот период родились гиганты вроде Amazon, Google, PayPal и Salesforce .

Основные тезисы Тейлора о природе текущего рынка:

🏗️ Почему стартапам не нужно предобучение (Pre-training) 15:44

Один из самых жестких тезисов Брет Тейлора заключается в том, что для 99% компаний попытка самостоятельно заниматься предобучением моделей (pre-training) — это «сжигание капитала» и бессмысленное занятие .

Аргументы Тейлора:

  1. Аналогия с дата-центрами: Пытаться обучить свою базовую модель сегодня — это то же самое, что в 2010 году пытаться построить собственный дата-центр вместо использования AWS . Это неэффективно и отвлекает от создания продукта.
  2. Фокус на решениях: Клиентам (CIO и CEO крупных корпораций) не нужны «мешки с числами с плавающей запятой» (модели). Им нужны готовые решения для конкретных задач: юриспруденции, программирования или клиентского сервиса .
  3. Доступность альтернатив: С появлением GPT-4o mini и мощных открытых моделей (Llama 3.1) стартапам выгоднее использовать готовое API или проводить дообучение (fine-tuning), чем тратить сотни миллионов на первичный трейнинг .

По мнению Тейлора, рынок ИИ разделится аналогично рынку облачных вычислений :

🤖 Sierra и эпоха разговорного софта 44:51

Брет Тейлор основал компанию Sierra с идеей, что следующим великим интерфейсом станет разговор (Conversational AI) . Он сравнивает этот сдвиг с появлением iPhone в 2007 году: тогда многие (особенно пользователи BlackBerry) не верили, что сенсорный экран может быть эффективнее физической клавиатуры .

Инвестиционный тезис Sierra:

⚖️ Технологический вызов: цели и ограничения вместо правил 54:51

Главная сложность при создании промышленных ИИ-агентов, по мнению Тейлора, — это переход от «эпохи правил» к «эпохе целей и ограничений» (Goals and Guardrails) . Традиционное ПО детерминировано: нажатие кнопки всегда приводит к одному результату. ИИ же креативен и недетерминирован.

Как это работает в Sierra:

💰 Экономика ИИ и роль Марка Цукерберга 35:22

Тейлор настроен крайне оптимистично относительно стоимости ИИ. Он считает, что затраты на инференс (запуск моделей) падают катастрофически быстро, в то время как качество растет . Он называет это «трендом, похожим на закон Мура» .

Ключевые факторы снижения стоимости:

  1. Дистилляция: Технология переноса знаний из огромных моделей в маленькие, дешевые и быстрые .
  2. Открытый код (Open Source): Тейлор признает, что за последний год изменил свое мнение о скорости развития Open Source .
  3. Стратегия Meta: Марк Цукерберг ускорил рынок, выпустив Llama 3.1. Тейлор объясняет это тем, что у Meta, в отличие от Google или Microsoft, нет облачного бизнеса, который нужно защищать, поэтому Цукербергу выгодно превратить базовые модели в общедоступный товар (commodity) .

👨‍💼 Лидерство и карьера: от Facebook до OpenAI 1:11:27

Тейлор делится личными историями о работе с величайшими лидерами современности. Он стал CTO Facebook в 29 лет после того, как компания Цукерберга купила его стартап FriendFeed .

Чему он научился у Марка Цукерберга и Марка Бениоффа:

В завершение беседы Тейлор дает совет Гарри Стеббингсу и другим членам советов директоров: искусство быть хорошим директором — это вовлеченность без микроменеджмента и умение давать советы так, чтобы CEO их действительно слышал .

💬 Цитаты

«Программное обеспечение похоже на газон — за ним нужно ухаживать. Нельзя просто написать код один раз и ждать, что он будет работать вечно.»

Брет Тейлор 00:10

«В 1995 году способом цифрового существования бизнеса был веб-сайт. В 2025 году это будет ИИ-агент.»

Брет Тейлор 48:17

«Я искренне скептически отношусь к компаниям, занимающимся предобучением моделей. Если вы не исследовательская лаборатория AGI, вы просто сжигаете капитал.»

Брет Тейлор 23:49
👥 Спикеры
📚 Упомянутые книги
🎬 Упомянутые фильмы и сериалы
🔗 Упомянутые сайты и проекты
📖 Термины
AGI
Общий искусственный интеллект, способный выполнять любую интеллектуальную задачу на уровне человека или выше.
Pre-training
Первичный этап обучения нейросети на огромных массивах данных для создания базовой модели.
Inference
Процесс использования уже обученной модели для получения ответов или выполнения задач.
Distillation
Техника сжатия большой ИИ-модели в меньшую и более быструю с минимальной потерей качества.
📊 Цифры
🗓 Хронология
  1. 1998 Основание компании Salesforce, ознаменовавшее начало эпохи SaaS.
  2. 2007 Выход первого iPhone и начало революции мобильных интерфейсов.
  3. 2009 Брет Тейлор присоединяется к Facebook после продажи FriendFeed.
  4. 2023 Запуск компании Sierra в марте.
⚖️ Другая сторона
Стартапы и бизнес OpenAI Sierra Брет Тейлор Llama 3.1 Salesforce