# Сиддхарт Шет о конкуренции с NVIDIA: «Для инференса не существует универсального решения»

Источник: https://www.youtube.com/watch?v=3cqodGX75IY
Канал: Eye on AI
Опубликовано: 30.04.2025

---

В интервью для подкаста Eye on AI Сиддхарт Шет (Siddharth Sheth), сооснователь и генеральный директор стартапа d-Matrix, рассказывает о стратегии компании по трансформации рынка инференса (исполнения) моделей искусственного интеллекта. Будучи ветераном индустрии полупроводников, Шет объясняет, почему специализированная архитектура на базе чиплетов и вычислений в памяти способна потеснить доминирование NVIDIA в эпоху генеративного ИИ.

## 🧬 Путь от Intel до создания d-Matrix
[[JUMP:02:40]]

Сиддхарт Шет начал свою карьеру в середине 90-х в компании Intel, где в течение 10 лет занимался проектированием передовых схем для процессоров Pentium и вопросами системной интеграции [03:05]. После этого он перешел в стартап NetLogic Microsystems (позже приобретенный Broadcom), где сфокусировался на чипах для Ethernet-соединений [03:32].

Ключевым этапом карьеры Шета стала работа в компании Inphi, специализирующейся на высокоскоростных сетевых интерфейсах. Там он инкубировал направление для центров обработки данных, которое выросло с нуля до выручки в 2,5 млрд долларов. В 2021 году Inphi была приобретена компанией Marvell за 10 млрд долларов [05:10].

В 2019 году Шет покинул Marvell, чтобы основать d-Matrix. По его словам, в то время основное внимание индустрии было сосредоточено на обучении моделей (training), а инференс воспринимался как вторичная задача, связанная преимущественно с классификацией изображений [05:38].

Основные предпосылки создания d-Matrix:

*   Осознание того, что рынок обучения моделей уже перенасыщен капиталом и доминирующими игроками.
*   Ставка на языковые модели и архитектуру трансформеров еще до их повсеместного взлета [06:16].
*   Убеждение, что для эффективного инференса требуется фундаментально иная архитектура, отличная от универсальных GPU.

Шет отмечает, что предпринимательство заложено в его ДНК: и его деды в Индии в 1940-х годах, и его отец были предпринимателями [06:30].

## ⚔️ Стратегия конкуренции: перехват рыночного разрыва
[[JUMP:07:12]]

По мнению Шета, успех в полупроводниковом бизнесе возможен только при условии «перехвата» технологического или рыночного разрыва (discontinuity) [08:08]. В прошлом он успешно реализовал это в Inphi, когда дата-центры переходили с медных кабелей на оптику и внедряли новые стандарты сигнализации (PAM4) [08:33].

Сегодня d-Matrix видит аналогичный разрыв в двух плоскостях:

1.  Переход от общих вычислений к ускоренным вычислениям во всех дата-центрах.
2.  Смещение центра тяжести от обучения моделей к их промышленному исполнению (инференсу) [10:04].

Шет утверждает, что попытка создать универсальную платформу для обучения и инференса — это создание «швейцарского армейского ножа», который делает всё, но ничего не делает идеально [10:30]. По его мнению, специализированное решение для инференса неизбежно победит в долгосрочной перспективе, так как инференс станет гораздо более масштабным сегментом рынка, чем обучение.

## 🛠️ Технологические инновации: Corsair и чиплетная архитектура
[[JUMP:17:26]]

Флагманским продуктом d-Matrix является ускоритель Corsair — карта в форм-факторе PCIe с энергопотреблением 600 Вт [17:26]. 

Технические особенности карты Corsair:

*   **Плотность кремния:** На одной карте размещено 3200 мм² кремния. Для сравнения, у новейшего ускорителя NVIDIA H200 в том же форм-факторе PCIe этот показатель составляет около 800 мм² [22:02].
*   **Чиплеты:** Карта содержит два основных чипа, каждый из которых состоит из четырех чиплетов. Всего на одной карте работает восемь чиплетов, соединенных высокоскоростным интерфейсом [17:39].
*   **Вычисления в памяти (In-Memory Compute):** Вместо использования классической архитектуры, где данные постоянно перемещаются между процессором и памятью, d-Matrix интегрирует вычислительные ядра непосредственно в SRAM [23:49].
*   **Производительность памяти:** Пропускная способность памяти на чиплетах достигает 150 ТБ/с, что, по словам Шета, в 20–30 раз превышает показатели памяти HBM в ускорителях NVIDIA Hopper [24:16].

Шет подчеркивает, что d-Matrix использует стандартный техпроцесс CMOS (сегодня это 6 нм от TSMC), что позволяет избежать рисков, связанных с экзотическими технологиями производства [12:04].

## 📈 Масштабирование и рыночное позиционирование
[[JUMP:24:56]]

Хотя на одной карте Corsair размещено всего около 2 ГБ высокопроизводительной памяти, архитектура d-Matrix спроектирована для горизонтального масштабирования на уровне стойки (rack-scale). 

Показатели масштабирования:

*   В одну серверную стойку устанавливается 64 карты Corsair.
*   Общий объем сверхбыстрой памяти в стойке составляет 128 ГБ.
*   Этого достаточно для комфортного запуска моделей с 70–100 миллиардами параметров [25:25].
*   Для моделей-гигантов (триллионы параметров) предусмотрена возможность использования стандартной DDR-памяти, расположенной на тыльной стороне карты, хотя скорость при этом будет ниже [26:05].

Бизнес-модель компании строится на «дополнении облака» (cloud augmentation). Вместо того чтобы предлагать клиентам (гиперскейлерам, таким как Google или Microsoft) полностью заменить их инфраструктуру, d-Matrix предлагает вставлять свои карты в уже существующие серверы от Dell, HP или Supermicro [19:10]. Это позволяет клиентам существенно улучшить экономику генеративного ИИ без капитальной перестройки дата-центров.

## 🌐 Будущее рынка и геополитика
[[JUMP:40:51]]

Сиддхарт Шет дает оптимистичный прогноз развития рынка инференса. По его словам, если рынок обучения составляет около 100 млрд долларов, то рынок инференса может вырасти до 1 трлн долларов в ближайшие 10 лет [41:06]. Даже при более консервативной оценке в 200–300 млрд долларов, места хватит для нескольких крупных игроков.

Мнение Шета о конкуренции и географии:

*   **Доминирование NVIDIA:** Шет признает, что догнать NVIDIA в обучении почти невозможно, но рынок инференса будет гетерогенным (смешанным), где найдется место и GPU, и специализированным ускорителям [33:07].
*   **Рынок Китая:** Из-за торговых ограничений и санкций США китайский рынок закрыт для d-Matrix. Шет считает, что это только увеличивает технологический разрыв в пользу США, которые останутся лидерами в проектировании чипов на ближайшие 5–10 лет [48:48].
*   **Индия:** Несмотря на обилие софтверных талантов, аппаратная экосистема и венчурный капитал для производства чипов в Индии еще не развиты достаточно для конкуренции на глобальном уровне [47:11].
*   **Другие регионы:** d-Matrix активно работает с клиентами в Японии, Юго-Восточной Азии и на Ближнем Востоке (Саудовская Аравия) [44:59].

Шет утверждает, что d-Matrix — единственная компания на рынке, чье решение было с самого первого дня спроектировано исключительно под задачи генеративного ИИ, а не адаптировано из других архитектур [51:50].