В интервью для подкаста Eye on AI Сиддхарт Шет (Siddharth Sheth), сооснователь и генеральный директор стартапа d-Matrix, рассказывает о стратегии компании по трансформации рынка инференса (исполнения) моделей искусственного интеллекта. Будучи ветераном индустрии полупроводников, Шет объясняет, почему специализированная архитектура на базе чиплетов и вычислений в памяти способна потеснить доминирование NVIDIA в эпоху генеративного ИИ.
🧬 Путь от Intel до создания d-Matrix 2:40
Сиддхарт Шет начал свою карьеру в середине 90-х в компании Intel, где в течение 10 лет занимался проектированием передовых схем для процессоров Pentium и вопросами системной интеграции . После этого он перешел в стартап NetLogic Microsystems (позже приобретенный Broadcom), где сфокусировался на чипах для Ethernet-соединений .
Ключевым этапом карьеры Шета стала работа в компании Inphi, специализирующейся на высокоскоростных сетевых интерфейсах. Там он инкубировал направление для центров обработки данных, которое выросло с нуля до выручки в 2,5 млрд долларов. В 2021 году Inphi была приобретена компанией Marvell за 10 млрд долларов .
В 2019 году Шет покинул Marvell, чтобы основать d-Matrix. По его словам, в то время основное внимание индустрии было сосредоточено на обучении моделей (training), а инференс воспринимался как вторичная задача, связанная преимущественно с классификацией изображений .
Основные предпосылки создания d-Matrix:
- Осознание того, что рынок обучения моделей уже перенасыщен капиталом и доминирующими игроками.
- Ставка на языковые модели и архитектуру трансформеров еще до их повсеместного взлета .
- Убеждение, что для эффективного инференса требуется фундаментально иная архитектура, отличная от универсальных GPU.
Шет отмечает, что предпринимательство заложено в его ДНК: и его деды в Индии в 1940-х годах, и его отец были предпринимателями .
⚔️ Стратегия конкуренции: перехват рыночного разрыва 7:12
По мнению Шета, успех в полупроводниковом бизнесе возможен только при условии «перехвата» технологического или рыночного разрыва (discontinuity) . В прошлом он успешно реализовал это в Inphi, когда дата-центры переходили с медных кабелей на оптику и внедряли новые стандарты сигнализации (PAM4) .
Сегодня d-Matrix видит аналогичный разрыв в двух плоскостях:
- Переход от общих вычислений к ускоренным вычислениям во всех дата-центрах.
- Смещение центра тяжести от обучения моделей к их промышленному исполнению (инференсу) .
Шет утверждает, что попытка создать универсальную платформу для обучения и инференса — это создание «швейцарского армейского ножа», который делает всё, но ничего не делает идеально . По его мнению, специализированное решение для инференса неизбежно победит в долгосрочной перспективе, так как инференс станет гораздо более масштабным сегментом рынка, чем обучение.
🛠️ Технологические инновации: Corsair и чиплетная архитектура 17:26
Флагманским продуктом d-Matrix является ускоритель Corsair — карта в форм-факторе PCIe с энергопотреблением 600 Вт .
Технические особенности карты Corsair:
- Плотность кремния: На одной карте размещено 3200 мм² кремния. Для сравнения, у новейшего ускорителя NVIDIA H200 в том же форм-факторе PCIe этот показатель составляет около 800 мм² .
- Чиплеты: Карта содержит два основных чипа, каждый из которых состоит из четырех чиплетов. Всего на одной карте работает восемь чиплетов, соединенных высокоскоростным интерфейсом .
- Вычисления в памяти (In-Memory Compute): Вместо использования классической архитектуры, где данные постоянно перемещаются между процессором и памятью, d-Matrix интегрирует вычислительные ядра непосредственно в SRAM .
- Производительность памяти: Пропускная способность памяти на чиплетах достигает 150 ТБ/с, что, по словам Шета, в 20–30 раз превышает показатели памяти HBM в ускорителях NVIDIA Hopper .
Шет подчеркивает, что d-Matrix использует стандартный техпроцесс CMOS (сегодня это 6 нм от TSMC), что позволяет избежать рисков, связанных с экзотическими технологиями производства .
📈 Масштабирование и рыночное позиционирование 24:56
Хотя на одной карте Corsair размещено всего около 2 ГБ высокопроизводительной памяти, архитектура d-Matrix спроектирована для горизонтального масштабирования на уровне стойки (rack-scale).
Показатели масштабирования:
- В одну серверную стойку устанавливается 64 карты Corsair.
- Общий объем сверхбыстрой памяти в стойке составляет 128 ГБ.
- Этого достаточно для комфортного запуска моделей с 70–100 миллиардами параметров .
- Для моделей-гигантов (триллионы параметров) предусмотрена возможность использования стандартной DDR-памяти, расположенной на тыльной стороне карты, хотя скорость при этом будет ниже .
Бизнес-модель компании строится на «дополнении облака» (cloud augmentation). Вместо того чтобы предлагать клиентам (гиперскейлерам, таким как Google или Microsoft) полностью заменить их инфраструктуру, d-Matrix предлагает вставлять свои карты в уже существующие серверы от Dell, HP или Supermicro . Это позволяет клиентам существенно улучшить экономику генеративного ИИ без капитальной перестройки дата-центров.
🌐 Будущее рынка и геополитика 40:51
Сиддхарт Шет дает оптимистичный прогноз развития рынка инференса. По его словам, если рынок обучения составляет около 100 млрд долларов, то рынок инференса может вырасти до 1 трлн долларов в ближайшие 10 лет . Даже при более консервативной оценке в 200–300 млрд долларов, места хватит для нескольких крупных игроков.
Мнение Шета о конкуренции и географии:
- Доминирование NVIDIA: Шет признает, что догнать NVIDIA в обучении почти невозможно, но рынок инференса будет гетерогенным (смешанным), где найдется место и GPU, и специализированным ускорителям .
- Рынок Китая: Из-за торговых ограничений и санкций США китайский рынок закрыт для d-Matrix. Шет считает, что это только увеличивает технологический разрыв в пользу США, которые останутся лидерами в проектировании чипов на ближайшие 5–10 лет .
- Индия: Несмотря на обилие софтверных талантов, аппаратная экосистема и венчурный капитал для производства чипов в Индии еще не развиты достаточно для конкуренции на глобальном уровне .
- Другие регионы: d-Matrix активно работает с клиентами в Японии, Юго-Восточной Азии и на Ближнем Востоке (Саудовская Аравия) .
Шет утверждает, что d-Matrix — единственная компания на рынке, чье решение было с самого первого дня спроектировано исключительно под задачи генеративного ИИ, а не адаптировано из других архитектур .
