Дэвид Луан: почему Nvidia станет ИИ-компанией, а разработчики моделей начнут выпускать чипы

20VC (Harry Stebbings) 36 тыс. 58 мин 6 мин 24.06.2024
Главное

В новом выпуске подкаста 20VC Гарри Стеббингс беседует с Дэвидом Луаном, сооснователем и генеральным директором компании Adept. Луан, прошедший через «золотой век» Google Brain и участвовавший в становлении OpenAI, делится инсайдами о том, как изменилась культура разработки ИИ: от академических статей к масштабным инженерным проектам. Главная тема беседы — неизбежная вертикальная интеграция индустрии, где производители чипов начинают создавать модели, а разработчики моделей — собственное «железо».

🏛 От академической свободы к «Проекту Аполлон»: эволюция Google Brain и OpenAI 0:43

Дэвид Луан описывает период с 2012 по 2018 год в Google Brain как «магическое время», сравнимое с эпохой Bell Labs . По его словам, это была эпоха «восходящих» (bottom-up) исследований: компания нанимала блестящих ученых, которые могли полгода работать над любой интересующей их проблемой без четких краткосрочных бизнес-целей . Именно в этой атмосфере родились ключевые технологии современности:

Однако с появлением архитектуры Transformer парадигма изменилась. Как вспоминает гость, работавший тогда в OpenAI вместе с Ильей Суцкевером, стало ясно: Transformer — это универсальная модель, подходящая для любой задачи . По мнению Луана, OpenAI первой (наряду с DeepMind) осознала, что следующая фаза ИИ — это не написание научных статей, а решение фундаментальных инженерных проблем .

Луан утверждает, что OpenAI перешла от структуры «федерации независимых исследователей» к модели «Проекта Аполлон» . Вместо того чтобы позволять тысяче людей организовывать себя самостоятельно, компания начала формировать гигантские команды вокруг конкретных целей: управления рукой робота, победы в сложнейших видеоиграх или масштабирования GPT до уровня универсального интеллекта .

📈 Почему закон масштабирования не умрет: RL-петли и синтетические данные 8:33

В индустрии всё чаще звучат мнения о «законе убывающей отдачи» (diminishing returns) при увеличении вычислительных мощностей. Луан с этим категорически не согласен . Он признает, что простая дозагрузка данных в базовую модель требует экспоненциального роста ресурсов: для предсказуемого улучшения «умности» модели количество вычислений нужно удваивать .

Однако гость выделяет второй, более перспективный путь улучшения производительности, который только начинает осваиваться, — это использование моделей для самообучения в симуляциях .

Основные тезисы Луана о будущем масштабировании:

  1. Проблема обучения на человеческих данных: Модель, обученная только на текстах из интернета, не может превзойти человеческий уровень, так как её учат лишь подражать написанному .
  2. Синтетическая обратная связь: Чтобы решить нерешенные математические задачи или создать что-то новое, модели нужно дать доступ к инструментам (например, библиотекам для доказательства теорем или Jupyter Notebook) .
  3. Обучение через опыт: Модель должна экспериментировать в симуляции, получать результат, рефлексировать над ним и учиться на своих ошибках. Этот процесс поглотит колоссальное количество вычислений, поэтому Луан не ждет замедления спроса на чипы .

⚔️ Вертикальная интеграция: война Nvidia и облачных гигантов 23:26

Луан предсказывает фундаментальный сдвиг в структуре бизнеса ИИ. По его мнению, владение только одним уровнем стека (чипами или моделями) становится рискованным .

Позиция гостя по рынку чипов: Хотя Nvidia сейчас доминирует, Луан указывает на пример Google с их процессорами TPU. Команда TPU (менее 500 человек на момент его работы в Google) смогла создать чипы, на которых обучались Gemini и PaLM . Луан считает, что у облачных провайдеров первого эшелона (AWS, Google, Microsoft) есть экзистенциальная потребность иметь собственные чипы для контроля маржинальности .

Почему Nvidia пойдет в модели: По мнению Луана, Nvidia будет вынуждена «подниматься по стеку» и развивать собственные модели. Если они этого не сделают, они рискуют превратиться в поставщика «коммодити» (взаимозаменяемого товара), так как клиентам будет все равно, на каком железе работает API их чатбота .

Луан ожидает появления 5–7 крупных игроков на рынке LLM, которые будут владеть полным стеком: от собственных дата-центров и чипов до конечных интерфейсов .

🤖 Агенты против RPA: в чем разница? 33:53

Многие сравнивают современные ИИ-агенты с традиционной автоматизацией процессов (RPA), такой как UiPath. Луан объясняет, почему это сравнение некорректно, используя аналогию с роботами на заводе :

Луан подчеркивает, что Adept строит «вертикально интегрированный стек» для агентов . Он считает, что владение интерфейсом дает колоссальное преимущество, так как позволяет модели учиться напрямую у пользователя, наблюдая за его действиями в браузере или специализированном ПО .

🏢 Будущее работы: «схлопывание» стека талантов 39:18

Обсуждая влияние ИИ на организационную структуру компаний, Луан ссылается на идею инвестора Скотта Бельски о «схлопывании стека талантов» (collapsing the talent stack) .

По мнению Луана:

При этом Луан скептически относится к модели оплаты «за выполненную работу» (price per work) в сфере интеллектуального труда . Он полагает, что компании продолжат платить за «место» или лицензию, так как ИИ-агент — это скорее ко-пилот или член команды, усиливающий креативность человека, а не просто исполнитель рутинных заявок .

⚠️ Регуляторный захват и риски AGI 48:18

Луан выражает серьезную обеспокоенность по поводу текущих попыток регулирования ИИ. Он называет это «регуляторным захватом» (regulatory capture) .

Аргументы гостя:

Относительно безопасности AGI (общего искусственного интеллекта) Луан считает, что рассуждать о нём сложно, так как люди часто определяют AGI как «бесконечность» . Он прагматично замечает, что в ближайшие пять лет открытые модели (Open Source) будут неизбежно отставать от закрытых из-за нехватки ресурсов на обучение, но их существование критически важно для баланса сил в индустрии .

🧠 Проблема интерфейса: почему чат — это не предел 51:49

В завершение беседы Луан утверждает, что индустрия слишком мало времени уделяет проблеме взаимодействия человека и компьютера (HCI) .

По мнению гостя:

  1. Чат — это плохой интерфейс. Общение с коллегой гораздо богаче: вы используете доски, общие документы, вместе смотрите в один монитор . Простое написание промптов и получение ответов — это тупиковый путь для по-настоящему умных систем.
  2. Агенты заменят GUI. Переход от графического интерфейса к агентам будет таким же значимым, как переход от командной строки DOS к Windows .
  3. ИИ как расширение мозга. В идеале агент должен ощущаться как неинвазивный нейроинтерфейс, позволяющий человеку оперировать на более высоком уровне абстракции .

Главным препятствием для этого видения Луан называет «огороженные сады» (walled gardens) существующих ИТ-гигантов . Если Salesforce, Google и Microsoft закроют свои данные друг от друга, агенты не смогут эффективно работать во всех доменах сразу.

💬 Цитаты

«Интерфейс LLM дает вам колоссальное влияние на всё, что происходит ниже по цепочке.»

Дэвид Луан 25:13

«RPA — это робот на заводе, следующий за желтой линией. Агенты — это полноценный автопилот для компьютера.»

Дэвид Луан 36:41

«Чат — это плохой способ взаимодействия с действительно умными системами.»

Дэвид Луан 54:13
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
Transformer
Архитектура нейронных сетей, ставшая основой для большинства современных языковых моделей (LLM).
RPA
Robotic Process Automation — технология автоматизации рутинных бизнес-задач, имитирующая действия человека в интерфейсе.
TPU
Tensor Processing Unit — специализированные чипы Google для ускорения машинного обучения.
AGI
Artificial General Intelligence — гипотетический ИИ, способный выполнять любую интеллектуальную задачу на уровне человека или выше.
📊 Цифры
🗓 Хронология
  1. 2012–2018 Эпоха доминирования Google Brain в фундаментальных ИИ-исследованиях.
  2. 2017 Публикация статьи о Transformer, изменившей вектор развития области.
  3. 2019 Выпуск модели GPT-2 в OpenAI.
  4. 2024 Запись интервью, обсуждение актуальных трендов масштабирования и регулирования.
⚖️ Другая сторона
Искусственный интеллект David Luan Nvidia Adept OpenAI Google Brain