От геймерских видеокарт до монополии: история железного сердца ИИ

Acquired 50 тыс. 2 ч 54 мин 22 мин 06.09.2023
Главное

«Дата-центр — это не склад с серверами, это один монолитный компьютер», — эта радикальная концепция Дженсена Хуанга превратила Nvidia из разработчика чипов для геймеров в абсолютного хозяина мировой ИИ-инфраструктуры. Пока OpenAI масштабировала языковые модели до триллионов параметров, Nvidia перехватила контроль над кремниевой базой, выкупив дефицитные упаковочные мощности и заблокировав конкурентов. Это хроника того, как технологическая дерзость, аппаратные ограничения и миллиардные риски создали самую дорогую монополию современности.

💥 Большой взрыв ИИ: От триумфа AlexNet до создания OpenAI 0:00

Развитие технологий за последние полтора года оказалось настолько стремительным, что даже опытные наблюдатели Кремниевой долины пребывают в изумлении. Как отмечают соведущие подкаста Acquired Бен Гилберт (Ben Gilbert) и Дэвид Розенталь (David Rosenthal), еще в апреле 2022 года в контексте обсуждения полупроводниковых гигантов никто даже не произносил словосочетание «генеративный ИИ». Однако последовавшая вскоре революция LLM и трансформеров, о которой подробно пойдет речь во второй главе, в одночасье изменила правила игры, превратив графические процессоры в главный дефицитный ресурс планеты. Чтобы понять, как индустрия пришла к этой точке, необходимо отмотать хронологию назад и заглянуть в фундамент, заложенный за десятилетие до текущего бума.

Наследие Алекснет и нейросети 8:05

В 2012 году произошел переломный момент, который основатель и CEO Nvidia Дженсен Хуанг (Jensen Huang) справедливо называет «Большим взрывом» искусственного интеллекта. В то время сама дисциплина еще скромно именовалась машинным обучением. Группа из трех исследователей Университета Торонто заявила свой алгоритм под названием AlexNet на престижный конкурс по компьютерному зрению ImageNet.

Суть соревнования сводилась к распознаванию колоссальной базы из 14 миллионов изображений, которые до этого вручную размечали тысячи подрядчиков на платформе Mechanical Turk, получая скромные два доллара в час. До появления AlexNet ни одна программа не могла эффективно справляться с этой задачей, а прогресс двигался крошечными шагами. Команда из Торонто совершила невероятный качественный скачок: они снизили показатель ошибок с 25% до 15%.

Секрет успеха крылся в реанимации старых концепций. Исследователи обратились к архитектуре сверточных нейросетей, известной еще с 1960-х годов. Ранее их считали практически бесполезными из-за чудовищной вычислительной емкости, требовавшейся для обучения. Создатели AlexNet решили проблему оригинальным способом: вместо закупки мощностей в суперкомпьютерных лабораториях они отправились в обычный магазин электроники и приобрели две потребительские видеокарты GeForce GTX 580. Они написали свой параллельный алгоритм на платформе CUDA. (В шестой главе мы подробнее разберем, как развивалась эволюция алгоритмов Nvidia (Cuda), определившая долгосрочное лидерство компании).

Главное технологическое различие заключалось в фундаментальной архитектуре чипов:

Эта способность к параллельным вычислениям стала идеальным рычагом для матричной математики и линейной алгебры, лежащих в основе нейросетей. Обучение сложнейшей модели на потребительском «железе» стоимостью всего в тысячу долларов доказало всему миру, что эпоха ускоренных вычислений официально наступила.

Дуополия Google-Facebook и OpenAI 15:42

Триумф AlexNet мгновенно изменил ландшафт технологического бизнеса. За созданием алгоритма стояли аспирант Алекс Крижевский (Alex Krizhevsky), легендарный профессор Джефф Хинтон (Jeff Hinton) — к слову, прямой праправнук создателей булевой логики Джорджа и Мэри Буль — и молодой исследователь Илья Суцкевер (Ilya Sutskever). Всего через шесть месяцев после конкурса Google полностью выкупил их стартап.

Команда ученых присоединилась к проекту Google Brain, где уже трудились такие титаны, как Джефф Дин и Эндрю Ин. Корпорации быстро осознали, что нейросети способны генерировать астрономическую прибыль. Алгоритмы машинного обучения стали основой для рекомендательных систем: именно эта технология превратила YouTube из убыточного сервиса в медийного гиганта за счет умной ленты и автоплея, а Facebook позволила окупить покупку Instagram, превратив его в актив стоимостью в сотни миллиардов долларов. Эффективность таргетинга была столь высока, что, по воспоминаниям Эстро Теллера из Google X, доходы от внедрения Google Brain в одиночку полностью покрывали все венчурные и экспериментальные разработки холдинга.

Вскоре Google поглотил британскую лабораторию DeepMind, а Facebook нанял профессора Яна ЛеКуна. К 2015 году на рынке образовалась жесткая дуополия двух гигантов, скупивших практически всех значимых специалистов по ИИ в мире. Это вызывало серьезное беспокойство в Кремниевой долине по трем ключевым причинам:

Чтобы переломить ситуацию, в 2015 году в отеле Rosewood на Сэнд-Хилл-Роуд был организован закрытый ужин. Инициаторами встречи выступили Илон Маск и Сэм Альтман, возглавлявший тогда Y Combinator. Они собрали ведущих исследователей и прямо спросили, какие условия необходимы для их ухода из корпораций. Большинство ученых ответили отказом: в Google и Facebook они имели неограниченные бюджеты на покупку GPU и возможность работать бок о бок с лучшими умами планеты.

Однако один ключевой игрок все же принял вызов. Илья Суцкевер посчитал эту идею рискованной, но невероятно заманчивой. Он покинул Google и занял пост главного научного сотрудника в новообразованной независимой некоммерческой лаборатории OpenAI, созданной с целью развивать ИИ открыто и на благо всего общества.

🤖 Эпоха трансформеров: Как архитектура LLM изменила всё 25:48

История того, как мы пришли к ChatGPT, вовсе не была линейным путём. К 2015 году, когда была основана OpenAI, ИИ отлично справлялся с узкоспециализированными задачами, но его возможности были крайне ограничены. Основным препятствием было отсутствие качественных алгоритмов и недостаток данных: классический пример AlexNet требовал 14 миллионов изображений, что в масштабах интернета — капля в море. В то время люди были вдохновлены концепцией языковых моделей, но никто не понимал, как алгоритмически обучить одну «фундаментальную» модель на всём интернете.

В 2015 году Андрей Карпатый, работавший тогда в OpenAI, опубликовал влиятельную статью «Необоснованная эффективность нейронных сетей». Примерно в это же время на канале Nvidia появилось видео с участием Карпатого и Ильи Суцкевера, где они рассуждали о будущем: «Одна из алгоритмических идей, которая меня захватывает — это языковая модель. Идея в том, что можно взять огромное количество данных, подать их в сеть, и она вычислит паттерн того, как слова следуют друг за другом в предложениях». По сути, они предсказали появление чат-ботов, способных понимать, как устроена человеческая речь, ещё до появления архитектуры Transformer.

💡 Понимание против вероятности 29:19

На весенней конференции GTC Дженсен Хуанг задал Илье Суцкеверу провокационный вопрос: не являются ли все эти большие языковые модели (LLM) просто статистическим инструментом, который предсказывает следующее слово, не обладая реальными знаниями?

Ответ Ильи стал легендарным. Он предложил представить детективный роман, где в конце детектив собирает всех в комнате и называет имя преступника. Чем точнее модель предсказывает это «следующее слово» — имя убийцы, — тем выше её уровень понимания не только конкретного текста, но и всей человеческой логики. Чтобы угадать преступника, модель должна «понимать» все перипетии сюжета, мотивацию и контекст мира, накопленный в обучающих данных. Так дискуссия о «понимании» против «простого предсказания» стала центральной темой современного ИИ.

⚡ Магия внимания: Революция Transformer 30:53

В 2017 году команда Google Brain выпустила фундаментальную статью «Attention is all you need». До этого машинный перевод работал последовательно, слово за словом, что было крайне неэффективно — языки имеют разную структуру, и слова в них часто меняются местами.

Ключевым новшеством стал механизм «внимания» (attention), который позволяет модели «смотреть» на весь входной текст одновременно, чтобы понять, какие слова наиболее важны для выбора следующего. Если раньше ИИ можно было сравнить с человеком с коротким вниманием, то трансформеры радикально изменили эту динамику.

Компьютерные инженеры сразу отметили, что вычислительная сложность этого механизма составляет $O(N^2)$, что делает задачу очень «дорогой» с точки зрения вычислений. Однако GPUs пришли на помощь: в отличие от старых рекуррентных нейросетей (RNN), где каждое следующее слово зависело от результата предыдущего, трансформеры позволили распараллеливать вычисления. Это стало «точкой отсчёта», позволив тренировать модели на колоссальных массивах данных за разумное время.

📈 Масштабирование и экономика «большого ИИ» 40:05

Развитие LLM привело к открытию удивительного свойства: масштабирование. Модели с 1 миллиардом параметров часто были бесполезны, но при переходе к 100+ миллиардам внезапно проявлялись «эмерджентные свойства» — способность рассуждать. GPT-1 имела около 120 миллионов параметров, GPT-3 — 175 миллиардов, а GPT-4, по слухам, достигла 1,72 триллиона.

Однако эта гонка стала невероятно дорогой. Для такой работы требовались огромные вычислительные мощности Nvidia, и в 2019 году OpenAI приняла судьбоносное решение стать коммерческой компанией, чтобы привлечь капитал. Вскоре последовала сделка с Microsoft на 1 миллиард долларов, которая сделала Azure эксклюзивным облачным провайдером для стартапа.

Этот альянс, подкреплённый дальнейшими многомиллиардными инвестициями и выходом ChatGPT, стал «моментом истины» для индустрии. В этой цепочке событий сошлись три фактора:

Всё это создало идеальный шторм для Nvidia, оказавшейся в центре новой технологической эры.

🚀 Рождение новой эры вычислений 51:24

К 2022–2023 годам стало очевидно, что генеративный ИИ — это не просто теоретическая концепция, а технология, стремительно набирающая обороты. Для Nvidia этот момент стал идеальным воплощением принципа «удача — это встреча подготовки с возможностью». Пока рынок осознавал потенциал нейросетей, Nvidia потратила пять лет на создание новой вычислительной платформы, спроектированной специально для дата-центров, чтобы бросить вызов доминирующей десятилетиями x86-архитектуре Intel.

🧠 Проблема «бутылочного горлышка» и архитектурный сдвиг 53:40

Чтобы понять, почему GPU от Nvidia стали критически важны, необходимо обратиться к классической архитектуре фон Неймана, лежащей в основе большинства современных CPU. В этой модели процессор последовательно выполняет инструкции: загружает данные из памяти, обрабатывает их и записывает результат обратно.

Этот процесс, упрощенно описываемый как «загрузка-загрузка-сложение-запись», крайне неэффективен для ИИ. Проблема заключается в том, что все данные должны проходить через один канал — шину (bus). CPU тратит три из четырех циклов на операции с памятью, а не на реальные вычисления. Увеличение тактовой частоты процессора здесь практически не помогает, так как мы упираемся в фундаментальные законы физики: скорость передачи данных по проводам ограничена. Это ограничение известно как «бутылочное горлышко фон Неймана».

Магический «отмычкой» для этого замка стало использование параллельных вычислений на тысячах ядер GPU. Однако, как отмечают Бен Гилберт и Дэвид Розенталь, в эпоху гигантских языковых моделей основной преградой стала не частота процессора, а объем высокопроизводительной памяти, доступной непосредственно на чипе. Модели требуют сотен гигабайт памяти, и на текущем уровне развития технологий их невозможно просто «увеличить» из-за ограничений фотолитографии (EUV) — чипы уже достигают максимального размера ретикула.

🛠 Стратегия Nvidia: «Дата-центр — это компьютер» 1:00:50

Дженсен Хуанг продвигает концепцию, согласно которой современный дата-центр должен функционировать как единый компьютер. Nvidia реализовала эту стратегию через три ключевых направления:

💰 Коммерциализация OpenAI и масштаб ИИ 45:29

Необходимость колоссальных инвестиций в GPU-вычисления стала главным драйвером трансформации OpenAI. Чтобы поддерживать обучение моделей, требующих беспрецедентных ресурсов, компания была вынуждена перейти к коммерческой модели и привлечь в качестве стратегического партнера Microsoft.

Наблюдаемое свойство масштабирования (scaling laws) — когда простое увеличение объема данных и количества параметров ведет к нелинейному и неожиданному росту уровня интеллекта моделей — создало «гонку вооружений» в области вычислительных мощностей. В результате, спрос на системы вроде DGX (полноценные суперкомпьютеры «в коробке» стоимостью от 150 до 500 тыс. долларов) радикально превышает предложение. Даже для крупнейших облачных провайдеров (AWS, Google, Azure) покупка отдельных чипов H100 по 40 000 долларов за штуку стала способом удержаться в авангарде этой новой промышленной революции.

🚀 Экономика масштаба и переосмысление дата-центра 1:15:39

Стратегия Nvidia по выводу на рынок новых поколений ускорителей, таких как H100, — это мастер-класс по «bundle-экономике» и созданию высокой добавленной стоимости. Продавая не просто отдельные чипы, а полностью укомплектованные серверные решения, компания радикально увеличивает свою маржинальность. Например, если сложить стоимость компонентов в готовом узле, Nvidia получает около 180 000 долларов дополнительной маржи на комплектации, которая включает в себя графический процессор и собственные ARM-процессоры компании.

При этом каждое поколение ускорителей демонстрирует колоссальный технологический скачок. H100, выпущенный всего через два с половиной года после A100, в 30 раз быстрее в задачах инференса и в 9 раз эффективнее в обучении LLM. Технические характеристики поражают воображение:

Дженсен Хуанг продвигает аргумент «чем больше вы покупаете, тем больше экономите» (the more you buy, the more you save). Несмотря на высокую стоимость «супер-подов», для бизнеса — от ритейлеров уровня McDonald's до логистических гигантов — это выгоднее, чем пытаться реализовать аналогичные задачи на устаревшей инфраструктуре. Nvidia не просто продает железо, она продает время и энергоэффективность: альтернативные методы решения этих задач потребляли бы кратно больше ресурсов.

☁️ DGX Cloud: от инфраструктуры к сервису 1:21:45

Важнейшим дополнением к аппаратной стратегии стал запуск DGX Cloud. Ранее компания зависела от посредничества облачных провайдеров (CSP), но теперь Nvidia фактически создала собственный облачный сервис, который физически располагается в дата-центрах партнеров, таких как Azure, Oracle или Google.

Это решение закрывает критический разрыв в цепочке поставок. Многие предприятия не обладают компетенциями для работы с «голым железом» (bare metal) и настройки сложных кластеров. DGX Cloud предлагает удобный интерфейс, интеграцию с библиотеками вроде Hugging Face и возможность «plug-and-play» развертывания моделей. Для Nvidia это способ перехватить контроль над клиентскими отношениями, напрямую взаимодействуя с корпоративными заказчиками, минуя посредников. Финансовая модель впечатляет: при стоимости аренды системы с A100 около 37 000 долларов в месяц, срок окупаемости капитальных затрат для Nvidia и её партнеров составляет всего три месяца.

📈 Триллионная реальность и эра GPT 1:27:46

Весной 2023 года Nvidia совершила исторический прорыв, который эксперты называют одним из самых впечатляющих примеров роста публичной компании. После сложного 2022 года, отмеченного крипто-зимой и списаниями запасов, отчеты за первый и второй кварталы 2024 фискального года (по календарному исчислению — 2023 год) шокировали рынок.

Данные говорят сами за себя:

Дженсен Хуанг переосмыслил рыночную возможность Nvidia, оценив объем мировых «жестких активов» в дата-центрах в 1 триллион долларов с ежегодным притоком инвестиций в 250 млрд. Фундаментальная ставка компании строится на том, что генеративный ИИ — это не просто хайп, а новая парадигма взаимодействия с компьютером. Хуанг предсказывает, что в будущем каждое приложение будет иметь «GPT-интерфейс», превращая английский язык в основной язык программирования.

🚀 Переосмысление архитектуры: от кремния к суперкомпьютерным системам 1:40:28

Покупка Mellanox и сетевая революция 1:43:45

В марте 2019 года Дженсен Хуанг (Jensen Huang) совершил сделку, истинное значение которой на рынке тогда мало кто понял: Nvidia объявила о приобретении компании Mellanox за 7 миллиардов долларов наличными. Как отмечают Бен Гилберт (Ben Gilbert) и Дэвид Розенталь (David Rosenthal), на эту технологию серьезно претендовала Intel, однако Nvidia буквально выбила конкурента из гонки своим предложением.

Зачем производителю графических чипов понадобился флагман высокоскоростных сетевых решений? Ответ крылся в глубоких внутренних исследованиях Nvidia. В августе 2019 года компания выпустила Megatron — крупнейшую на тот момент языковую модель на базе трансформеров с 8,3 миллиарда параметров. Ее обучение силами 512 GPU заняло девять дней и обошлось по рыночным меркам в колоссальные полмиллиона долларов. Этот эксперимент наглядно доказал руководству Nvidia: будущие ИИ-модели неизбежно масштабируются до таких размеров, что вычисления придется распределять между тысячами чипов в рамках единой сети. Контроль над технологией InfiniBand от Mellanox дал Nvidia критически важное сетевое преимущество, обеспечив высочайшую скорость интерконнекта, которую конкуренты просто не спрогнозировали.

Архитектура дата-центра как компьютера 1:45:18

Интеграция сетевых технологий позволила Дженсену Хуангу радикально изменить философию ИТ-инфраструктуры. Он выдвинул тезис: современный дата-центр — это и есть компьютер. В интервью аналитику Бену Томпсону Хуанг описал это как стратегию, при которой системы проектируются как полный стек, но поставляются на рынок в дезагрегированном виде, гибко встраиваясь в вычислительную фабрику индустрии.

Дэвид Розенталь проводит историческую параллель, отмечая, что Nvidia сегодня — это не просто полупроводниковая компания вроде Intel, а скорее IBM в эпоху своего расцвета, продающая полноценные мейнфреймы. Клиентам поставляется не разрозненный кремний, а полностью интегрированная «стена» стоимостью в 100 миллионов долларов, которая работает как единое целое. Этот системный подход отражается на финансовых результатах: валовая маржа Nvidia совершила линейный взлет с исторических 24% в эпоху простых видеокарт до рекордных 70% в последнем квартале, с прогнозом роста до 72%. Ранее в разговоре ведущие уже упоминали взрывной рост доходов от AI и запуск DGX Cloud, что подтверждает успех данной бизнес-модели. Примечательно, что при таком масштабе платформы Nvidia остается крайне эффективной: имея всего 26 000 сотрудников, компания удерживает планку в 46 миллионов долларов рыночной капитализации на одного работника. Это следствие уникальной внутренней культуры, где Дженсен Хуанг лично руководит 40 прямыми топ-менеджерами, минуя классические бюрократические карьерные цепочки.

Стратегия Grace Hopper: триумф полного стека 1:43:07

Логическим воплощением концепции мейнфрейма стала разработка суперчипа Grace Hopper. Создав собственный центральный процессор Grace на архитектуре ARM и соединив его со сверхмощным графическим процессором Hopper, компания замкнула всю архитектуру на себе. Полная интеграция CPU, GPU и сетевых решений Mellanox избавляет Nvidia от необходимости полагаться на чипы сторонних поставщиков и превращает разрозненные серверные стойки в монолитную вычислительную среду.

Бен Гилберт сравнивает стратегию Nvidia с экосистемой Apple, где жесткий контроль над аппаратной частью и софтом гарантирует премиальный пользовательский опыт и непреодолимый ров для конкурентов. Даже с учетом активности open-source сообщества, колоссальный задел Nvidia в оптимизации программного слоя, на который ушли тысячи человеко-лет инженерной работы, оставляет преследователей далеко позади. Чтобы удерживать этот колоссальный технологический отрыв, компания с момента окончания пандемии перешла на беспрецедентный для индустрии жесткого железа шестимесячный цикл выпуска обновлений.

Упаковка CoWoS как конкурентное преимущество 1:58:22

Попытки конкурентов создать альтернативные чипы сталкиваются не только с программными барьерами, но и с жесткими физическими ограничениями цепочки поставок. Главным узким местом в производстве современных ИИ-ускорителей стала передовая технология упаковки Chip-on-Wafer-on-Substrate (CoWoS) от TSMC, позволяющая монтировать высокоскоростную память (HBM) и логику чипа на одной кремниевой подложке.

Бен Гилберт подчеркивает, что реальная угроза для Nvidia исходит не от AMD, а от технологических гигантов вроде Amazon с их чипами Trainium или Google с TPU. Однако ключевое преимущество Nvidia заключается в том, что она зарезервировала за собой практически все доступные у TSMC мощности 2.5D-упаковки (CoWoS) под свои высокопроизводительные процессоры. В итоге условная AMD или любой другой технологический гигант попросту лишены физического доступа к фабричным мощностям нужного объема. Ранее в разговоре ведущие касались темы китайского рынка, экспортных ограничений и платформы Omniverse, но именно контроль над дефицитной технологией CoWoS в связке с сетевой архитектурой InfiniBand делает Nvidia абсолютным монополистом для компаний, нацеленных на обучение ИИ-моделей класса GPT.

🚀 Момент iPhone в корпоративном секторе: Сверхдоходы дата-центров и экосистема ИИ 2:05:50

Взрывной рост доходов от AI и архитектурный замок для дата-центров 2:06:02

Сегодня Nvidia находится в ситуации, когда необходимо вдавить педаль газа в пол, чтобы опережать конкурентов, несмотря на все выстроенные структурные барьеры вокруг своего бизнеса. Бен Гилберт (Ben Gilbert) и Дэвид Розенталь (David Rosenthal) отмечают, что на текущий момент практически все значимые проекты в индустрии, особенно в сфере обучения больших языковых моделей (LLM), развертываются исключительно на оборудовании от Nvidia. Ранее в разговоре они уже детально касались того, как революция LLM и трансформеров перевернула технологический мир, но именно сейчас это выливается в колоссальный организационный импульс. Сменить платформу, даже с чисто программной точки зрения, становится невероятно сложно.

Решения по закупкам и стандартизации архитектуры дата-центров в компаниях из списка Fortune 500 принимаются как минимум на пять лет вперед. В ходе подготовки эпизода ведущие общались с аналитиками из NCS Capital, которые подчеркнули: выручка от дата-центров и их капитальные затраты (capex) представляют собой один из самых «липких» видов доходов в истории бизнеса. Компании меняют архитектуру своих ЦОД максимум раз в десятилетие. Nvidia умело использует этот ажиотаж вокруг генеративного ИИ, чтобы зафиксировать свою архитектуру на долгосрочную перспективу.

Вопреки расхожему мнению в интернете, компания вовсе не рада дефициту поставок — они активно ищут дополнительные производственные мощности повсюду. Если бы это было возможно, финансовый директор Колетт (Colette) с радостью пожертвовала бы частью валовой маржи ради увеличения объемов продаж. Однако на рынке существует жесткое ограничение: только TSMC обладает фабриками, способными осуществлять передовую упаковку чипов. Ранее в разговоре они упоминали технологию Chip-on-Wafer-on-Substrate (CoWoS), которая стала главным узким горлышком для всей индустрии. Nvidia фактически захватила этот дефицитный ресурс, оставив конкурентов вроде AMD далеко позади, хотя последние и сохраняют огромные мощности для своих процессоров общего назначения. В то же время Google развивает собственные TPU чипы, но они доступны только внутри Google Cloud и требуют использования фреймворков вроде TensorFlow, популярность которого падает по сравнению с PyTorch. Большинство TPU используется самой Google для внутренних нужд, таких как Bard и внедрение ИИ в поисковую выдачу, которая остается невероятно прибыльным источником денежных средств.

В финансовом выражении этот бум выглядит ошеломляюще. Рынок GPU для дата-центров стремительно вырос с 30 миллиардов долларов до 50 миллиардов, приближаясь к отметке в 100 миллиардов долларов в год. Технологические гиганты готовы тратить десятки миллиардов долларов на инфраструктуру: Meta инвестировала огромные суммы в метавселенную, Apple тратит миллиарды на свои гарнитуры, а Amazon направляет колоссальный capex на устройства вроде умных колонок Echo. На рынке идет настоящая «игра на слабо», где крупнейшие игроки идут ва-банк. Несмотря на возможный кризис доверия инвесторов или временный лопнувший пузырь в ближайшие 12–18 месяцев, когда корпоративные директора могут замедлить траты из-за сомнений в полезности чат-интерфейсов, ведущие ИИ-исследователи единогласны: в масштабе 10 лет мы еще ничего не видели. Этот ажиотаж подкреплен реальной выручкой, поскольку клиенты голосуют за технологии Nvidia реальными деньгами.

Эволюция CUDA: Сетевые эффекты и программный фундамент параллельных вычислений 2:11:27

Важнейшим фактором устойчивости Nvidia являются мощные сетевые эффекты. Огромное сообщество разработчиков создает библиотеки поверх платформы CUDA, что позволяет писать сложнейшие программы параллельных вычислений всего в несколько строк кода, используя уже готовые блоки. Этот триумф уходит корнями в далекий 2006 год, когда Дженсен Хуанг (Jensen Huang) принял стратегическое и крайне дорогостоящее на тот момент решение: каждый выпускаемый GPU компании должен быть полностью совместим с CUDA.

В период с 2006 по 2012 год многие эксперты и инвесторы критиковали компанию, не понимая, зачем тратить драгоценную площадь чипа на поддержку архитектуры, которой почти никто не пользовался. Однако сегодня в мире насчитывается более 500 миллионов CUDA-совместимых графических процессоров, ориентированных на разработчиков. Такая комбинация экономии на масштабе и сетевых эффектов создает уникальную платформенную власть.

Nvidia фактически превратилась в современный аналог IBM в эпоху искусственного интеллекта, к которой применима классическая формула: «Еще никого не уволили за покупку решений от IBM». Потребительский бренд, выстроенный на рынке игровой графики, успешно спроецировался на корпоративный сектор. Когда высшее руководство условного McDonald’s принимает решение о закупках ИИ-инфраструктуры, они выбирают Nvidia как признанного лидера. Последние квартальные финансовые результаты настолько монументальны, что они полностью затмевают любые имиджевые преимущества от потребительского сегмента.

Дэвид Розенталь и Бен Гилберт также выделяют технологическое превосходство Nvidia в организации процессов (process power) — в частности, их способность поддерживать жесткий шестимесячный цикл выпуска обновлений, который практически невозможно повторить конкурентам. И хотя AMD демонстрирует впечатляющие аппаратные достижения, например, продвинутую 3D-упаковку с прямым медным соединением без кремниевого интерпозера, это не меняет правила игры. Клиенты выбирают не просто «лучшую железную мышеловку», а целостную экосистему. Дженсен Хуанг справедливо называет происходящее «моментом iPhone для ИИ», проводя параллель с Apple: аппаратная компания, дифференцированная за счет проприетарного софта, трансформируется в сервисную платформу с глубокой вертикальной интеграцией.

DGX Cloud и новая эра облачных вычислений: Вызов традиционным гиперскейлерам 2:17:45

Эволюция Nvidia привела к тому, что компания перестала быть просто производителем чипов и превратилась в системного игрока. Сравнение отдельных процессоров больше не имеет значения; конкуренция сместилась в плоскость того, насколько эффективно множество GPU и серверных стоек работают как единый суперкомпьютер благодаря софту и сетевым технологиям. Как заявлял Дженсен Хуанг в интервью изданию Stratechery:

«Великую компанию строят, делая то, что другие сделать не могут. Нельзя построить компанию, борясь с остальными в тех нишах, где преуспеть может каждый».

Именно поэтому Nvidia никогда не тратила ресурсы на разработку собственных CPU общего назначения, пока не нашла уникальный способ дифференциации через готовую архитектуру ARM со своими фирменными доработками. Ранее в разговоре соведущие упоминали стратегию Grace Hopper, отражающую этот подход полного стека, позволяющий компании избегать низкомаржинальной борьбы.

Исторически Intel долгое время доминировала в дата-центрах, контролируя материнские платы и стандарт PCI Express, и пыталась задушить или коммодитизировать Nvidia. Тот период можно описать как противостояние респектабельного «Загородного клуба» Intel и агрессивного «Бойцовского клуба» Nvidia.

Nvidia проявила колоссальное терпение, постепенно проходя несколько ключевых этапов эволюции:

Логическим продолжением этой экспансии стал запуск DGX Cloud, который напрямую угрожает устоявшемуся порядку «Облаков 1.0» в лице AWS, Microsoft Azure и Google Cloud. В прошлую эпоху главным преимуществом облачных гигантов была привязка клиентов к базам данных — транспортировка данных была настолько сложной, что их перевозили буквально грузовиками (сервис AWS Snowball). И хотя Microsoft выступает эксклюзивным инфраструктурным партнером OpenAI, фактически все эти вычислительные мощности построены на технологиях Nvidia и лишь перепродаются через облако Microsoft.

Сегодня корпоративные клиенты требуют полноценного опыта работы со стеком Nvidia, а не дешевых аналогов. Их программный код слишком сложен, чтобы переписывать его под проприетарные ускорители облачных провайдеров. Это ставит под сомнение незыблемость позиций традиционных гиперскейлеров, поскольку архитектура ЦОД претерпевает фундаментальный сдвиг. Данная смена парадигмы открыла дорогу специализированным ИИ-облакам — таким стартапам, как Crusoe, CoreWeave и Lambda Labs, которые привлекают миллиарды долларов инвестиций и формируют новый ландшафт ИИ-инфраструктуры.

🌐 Глобальные вызовы и новые горизонты: Китай и Omniverse 2:36:43

Санкции и экспортные ограничения в Китае 2:36:43

Одним из наиболее существенных «медвежьих» факторов для Nvidia, который нельзя игнорировать, остаются экспортные ограничения США в отношении Китая. Этот рынок исторически занимал значительную долю в структуре продаж компании, и текущая геополитическая обстановка делает его труднодоступным в обозримом будущем. США последовательно ограничивают поставки высокопроизводительных чипов, что вынуждает Nvidia адаптировать свою стратегию. В ответ на санкции компания разработала специализированные «урезанные» версии своих ускорителей, такие как A800, которые соответствуют требованиям экспортного контроля. Несмотря на снижение технических характеристик, эти решения продолжают оставаться эталоном на китайском рынке, где Nvidia сталкивается с необходимостью работать в условиях растущей изоляции и попыток Китая развивать собственные внутренние экосистемы и конкурентные решения.

Omniverse: синергия графики и интеллекта 2:31:58

Помимо работы с аппаратным обеспечением, Nvidia активно меняет ландшафт индустрии через платформу Omniverse, которая стала мощным инструментом конвергенции фотореалистичной графики и искусственного интеллекта. Дженсен Хуанг (Jensen Huang) и его команда видят в этом не просто графический движок, а полноценную среду для создания сложных симуляций и динамических игровых миров, где взаимодействие с неигровыми персонажами (NPC) выходит за рамки заранее прописанных скриптов. Эти возможности, которые ранее казались футуристическими, становятся реальностью благодаря генеративному ИИ. Технологии Nvidia позволяют интегрировать подобные инновации в современные цифровые продукты, превращая статические миры в живые системы, что является частью более широкой стратегии компании по внедрению accelerated computing во все сферы, где требуется обработка огромных массивов данных и создание реалистичного контента.

Ранее в разговоре ведущие также затрагивали темы развития архитектуры дата-центров, роль сети в современных вычислениях после покупки Mellanox и стратегическое значение стека Grace Hopper.

💬 Цитаты

«Чем точнее модель предсказывает это «следующее слово», тем выше её уровень понимания не только конкретного текста, но и всей человеческой логики.»

Илья Суцкевер 30:13

«Трансформеры позволили распараллеливать вычисления... Это стало «точкой отсчёта», позволив тренировать модели на колоссальных массивах данных за разумное время.»

Бен Гилберт 34:51

«Дженсен говорит: 'Эй, дурачки, дата-центр — это компьютер. Послушайте меня: весь дата-центр должен быть одним компьютером'.»

Бен Гилберт 103:30

«The more you buy, the more you save.»

Дженсен Хуанг 1:18:17

«We build our systems full stack but we go to market in a disaggregated way»

Дженсен Хуанг 1:45:32

«You build a great company by doing things that other people can't do. You don't build a company by fighting other people to do things that everyone can do»

Дженсен Хуанг (Jensen Huang) 2:18:11
👥 Спикеры
📖 Термины
Transformer
Архитектура нейросетей, использующая механизм внимания для параллельной обработки всего контекста данных.
CUDA
Программно-аппаратная платформа Nvidia для параллельных вычислений на графических процессорах.
CoWoS
Технология 2.5D-упаковки чипов от TSMC, позволяющая размещать память максимально близко к процессору для обхода ограничений пропускной способности.
InfiniBand
Высокоскоростная сетевая технология с низкой задержкой, используемая для объединения множества GPU в единый вычислительный кластер.
AlexNet
Сверточная нейросеть, победа которой в конкурсе ImageNet в 2012 году показала превосходство GPU-вычислений и дала старт буму глубокого обучения.
Искусственный интеллект Nvidia OpenAI Дженсен Хуанг Илья Суцкевер CUDA