Дженсен Хуанг: «ИИ — это промышленная революция по производству интеллекта»

Bg2 Pod 227 тыс. 1 ч 21 мин 6 мин 13.10.2024
Главное

В новом выпуске подкаста BG2 инвесторы Билл Герли и Брэд Герстнер встретились с основателем и генеральным директором NVIDIA Дженсеном Хуангом в штаб-квартире компании. Разговор затронул фундаментальную трансформацию вычислительной техники, уникальность архитектурного подхода NVIDIA, проект Илона Маска xAI и то, почему нынешний бум искусственного интеллекта — это не «пузырь 2000 года», а начало новой промышленной революции.

📈 Новая эра: от программирования к машинному обучению 2:55

Дженсен Хуанг утверждает, что сегодня мы наблюдаем самую высокую скорость технологических изменений в истории . По его мнению, это стало возможным благодаря тому, что NVIDIA удалось снизить предельную стоимость вычислений в 100 000 раз за последние 10 лет . Если бы индустрия следовала только закону Мура, прогресс составил бы лишь около 100 раз.

Ключевые факторы этого ускорения, по словам Хуанга:

Хуанг подчеркивает фундаментальный сдвиг: раньше программное обеспечение было статичным (скомпилированным и «запечатанным»), а развивалось только оборудование под ним. Сегодня весь стек — от железа до нейросетевых алгоритмов — растет и эволюционирует одновременно, создавая эффект сложного процента .

🛡️ «Маховик» NVIDIA: почему конкурентам сложно догнать лидера 6:40

Брэд Герстнер отметил, что многие инвесторы ошибочно воспринимают успех NVIDIA как создание «просто более быстрого чипа» . Хуанг в ответ пояснил, что преимущество компании (её «ров») заключается не в количестве гигафлопсов, а в создании комплексного «маховика» машинного обучения .

Основные этапы этого маховика, которые ускоряет NVIDIA:

  1. Курирование данных: Сегодня ИИ используется для того, чтобы отбирать и готовить данные для обучения другого ИИ .
  2. Генерация синтетических данных: Огромные объемы работы выполняются до начала фактического обучения .
  3. Специализированные библиотеки: Хуанг напомнил о существовании библиотек cuDNN, Optics, cuQuantum и Rapids, которые адаптируют алгоритмы под конкретные задачи .

По мнению Хуанга, преимущество NVIDIA сегодня больше, чем 3–4 года назад, потому что сложность систем стала комбинаторной . Он сравнил подход компании с Intel: если Intel исторически фокусировалась на совершенстве каждого транзистора для последовательных задач, то NVIDIA ставит на параллельные вычисления, где важнее общая архитектура системы .

🔄 Инференс и «след из бесплатного оборудования» 15:48

Обсуждая вопрос о том, сохранит ли NVIDIA лидерство на этапе инференса (исполнения моделей), Хуанг заявил, что здесь преимущество компании будет даже выше, чем в обучении .

Его аргументы в пользу этого тезиса:

🏭 Дата-центр как новый юнит вычислений 21:45

Хуанг считает, что после 60 лет существования ИТ-индустрии весь вычислительный стек был изобретен заново . Теперь единицей вычислений (unit of computing) является не чип, а целый дата-центр .

NVIDIA планирует выпускать новую архитектуру дата-центра каждый год, стремясь ежегодно увеличивать производительность в 2–3 раза при одновременном снижении стоимости и энергопотребления . Хуанг советует клиентам не покупать всё оборудование сразу, а инвестировать ежегодно, чтобы усреднять стоимость и постоянно владеть самыми современными технологиями .

Относительно разработки собственных чипов (ASIC) такими гигантами, как Amazon (Trainium) или Google (TPU), Хуанг выразил спокойствие:

📉 Опровержение теории «пузыря» и Cisco 2000 года 30:07

Критики часто сравнивают нынешний рост NVIDIA с Cisco времен пузыря доткомов, утверждая, что рынок перенасыщен мощностями. Брэд Герстнер напомнил, что в начале 2023 года аналитики прогнозировали NVIDIA выручку в $26 млрд, а компания сделала $60 млрд .

Хуанг аргументирует отсутствие пузыря через «первые принципы»:

  1. Трансформация софта: Весь существующий софт (Excel, Photoshop, AutoCAD), который создавался вручную, будет переписан с помощью машинного обучения .
  2. Модернизация инфраструктуры: В мире уже есть дата-центры стоимостью $1 трлн, построенные на CPU. Их необходимо заменить на GPU, так как закон Мура для CPU практически мертв .
  3. ИИ-фабрики: Появляется совершенно новый тип инфраструктуры для «цифровых сотрудников» (агентов), которой раньше не существовало. По оценке Хуанга, этот рынок может составить еще несколько триллионов долларов .

🚀 19-дневный суперкомпьютер Илона Маска 46:42

Одним из самых ярких моментов дискуссии стало обсуждение кластера Colossus от xAI. Илон Маск сумел построить массив из 100 000 GPU H100 в Мемфисе в кратчайшие сроки.

Дженсен Хуанг назвал Маска «сверхчеловеком» в вопросах проектирования и строительства крупных систем . Он подчеркнул уникальность этого достижения:

Хуанг подтвердил, что эпоха кластеров на 200–300 тысяч GPU уже наступила . В будущем он ожидает появления систем на миллионы GPU, хотя подчеркивает важность развития распределенных и федеративных вычислений .

🧠 Strawberry (o1) и новая парадигма рассуждений 55:19

Появление модели OpenAI o1 (Strawberry) знаменует переход к «масштабированию во время инференса» (inference-time reasoning) . Теперь ИИ не просто выдает ответ мгновенно, а «думает» перед ответом.

Хуанг считает это огромным прорывом:

🏢 Будущее труда: 50 000 сотрудников и 100 млн ИИ-агентов 1:00:54

Хуанг надеется, что со временем NVIDIA станет компанией с 50 000 сотрудников, которым будут помогать 100 миллионов ИИ-ассистентов . Эти агенты будут присутствовать в каждой группе, общаться в Slack-каналах с людьми и между собой, решая специализированные задачи — от проектирования чипов до написания кода .

Относительно страхов перед безработицей Хуанг высказал следующие тезисы:

🛡️ Безопасность и регулирование 1:08:20

В вопросе безопасности Хуанг поддерживает оптимистичный взгляд: «Чтобы победить плохой ИИ, нужно сделать хороший ИИ еще лучше» . Он отметил, что отрасль уже создала огромную систему сдержек: одни нейросети обучают другие, третьи — проверяют данные на галлюцинации, четвертые — служат «гардрайлами» (ограждениями) .

По мнению Хуанга, регулирование должно происходить на уровне приложений, а не на уровне самой технологии:

👨‍💻 Личное: почему Дженсен не уходит на пенсию 1:17:14

В конце встречи Хуанг признался, что не считает свою работу «всегда веселой» (fun), но он её глубоко любит . У него около 60 прямых подчиненных, и он рассматривает их как лучших в мире экспертов, которыми он «управляет с помощью промптов» точно так же, как нейросетями .

Дженсен использует ИИ каждый день как тьютора, партнера по брейнштормингу и для проверки фактов в исследованиях . Он уверен, что сейчас — самый значимый момент в его карьере, и он не хочет пропустить следующие 10 лет этой трансформации .

💬 Цитаты

«Дата-центр теперь является единицей вычислений. Когда я думаю о компьютере, я не думаю о чипе — я думаю о всей этой махине.»

Дженсен Хуанг 22:37

«Илон Маск сингулярен в своем понимании инженерии, строительства и крупных систем. То, что сделал xAI — никогда не делалось раньше.»

Дженсен Хуанг 48:32

«В будущем мы будем посылать промпт ИИ и говорить: «Подумай об этом всю ночь, не отвечай сразу».»

Дженсен Хуанг 57:16
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
Inference-time reasoning
Способность ИИ-модели тратить дополнительное время и вычислительные ресурсы на обдумывание и перепроверку ответа перед его выдачей пользователю.
CUDA
Программно-аппаратная архитектура параллельных вычислений NVIDIA, позволяющая использовать GPU для вычислений общего назначения.
ASIC
Интегральная схема, специализированная для решения конкретной задачи (в противовес универсальным процессорам).
📊 Цифры
🗓 Хронология
  1. 2016 NVIDIA поставила первый суперкомпьютер DGX-1 компании OpenAI.
  2. Ноябрь 2022 Запуск ChatGPT, ставший «кембрийским моментом» для индустрии ИИ.
  3. Январь 2023 Аналитики прогнозировали NVIDIA выручку в $26 млрд на год (по факту оказалось $60 млрд).
  4. Октябрь 2024 Дата записи интервью в штаб-квартире NVIDIA.
⚖️ Другая сторона
Технологии и IT Jensen Huang Nvidia Blackwell OpenAI xAI