Революция в индустрии чипов: путь Cerebras и Эндрю Фельдмана 0:00
Индустрия искусственного интеллекта переживает фундаментальный сдвиг, где вычислительная мощность становится критическим геополитическим активом. Эндрю Фельдман, основатель и генеральный директор Cerebras Systems, в беседе с Натаном Лейбенсом и Эриком Торнбергом (подкаст The Cognitive Revolution) обсуждает создание «самого большого в мире чипа» и то, как специализированное «железо» меняет правила игры в эпоху обучения масштабных языковых моделей.
🛠 Происхождение: «Здесь будут драконы» 11:48
История Cerebras началась в 2015 году, когда группа ветеранов индустрии чипов решила не просто улучшить существующие решения, а кардинально трансформировать отрасль.
- Видение: Команда задалась вопросом: «Что именно нужно для обучения ИИ?». Они стремились создать не универсальный графический процессор (GPU), а специализированную машину, оптимизированную исключительно для рабочих нагрузок ИИ.
- Выбор направления: Основатели решили работать над самыми сложными задачами, которые другие компании обходили стороной, называя их «территорией драконов».
- Архитектурный подход: В отличие от традиционных чипов, где коммуникация между компонентами занимает много времени и энергии, Cerebras создали сверхбольшой чип, позволяющий держать все данные внутри «границ» кремния.
💡 Технологические прорывы и переломные моменты 23:52
Одной из главных проблем современных вычислений для ИИ является ограничение памяти и полосы пропускания.
- Решение проблемы масштабирования: По словам Фельдмана, при использовании тысяч обычных GPU возникают колоссальные сложности с распределением задач и координацией (закон Амдала). Огромный чип Cerebras с 850 000 ядер позволяет разместить крупнейшие слои нейросетей целиком, устраняя необходимость разбиения модели.
- Спарсити (Sparsity): Фельдман утверждает, что ИИ-задачи по своей природе часто являются «разреженными» (sparse), то есть содержат много нулей. Традиционные чипы тратят энергию на умножение этих нулей, в то время как архитектура Cerebras «умна» и просто пропускает бесполезные вычисления, экономя ресурсы.
- Производство: Работа с TSMC (Taiwan Semiconductor Manufacturing Company) позволила реализовать производство без разрезания пластины на мелкие чипы, используя уникальную методику коммуникации через «линии скрайбирования» (промежутки, которые обычно отсекаются).
⚠️ Ошибки, уроки и текущий этап 56:23
Несмотря на технологическое лидерство, компания столкнулась с необходимостью создания собственной экосистемы.
- Системный подход: Команда осознала, что недостаточно спроектировать чип; пришлось создавать полноценные серверы, системы водяного охлаждения и даже компиляторы.
- Проблема «железа»: Самым сложным оказалось отсутствие готовых компонентов — от оборудования для изготовления до систем охлаждения. Инженеры Cerebras были вынуждены изобретать всё с нуля.
- Текущая стадия: Сейчас компания активно разворачивает суперкомпьютеры (например, Andromeda на 16 чипах с 13,6 млн ядер) и предоставляет доступ к своим моделям. Фельдман подчеркивает, что они сделали выбор в пользу открытого исходного кода (Apache 2.0) для своих GPT-моделей.
🔮 Взгляд в будущее 1:03:04
Гость полагает, что разделение на «ядро» (дата-центры с огромными чипами) и «периферию» (Edge-устройства) сохранится, так как задачи обучения требуют интенсивной работы с данными, а инференс может быть оптимизирован для малых чипов.
- Риски: По мнению Фельдмана, риски использования ИИ для преследований или мошенничества реальны и требуют тщательной проработки.
- Оптимизм: Несмотря на угрозы, он уверен, что ИИ фундаментально улучшит жизнь общества, так как алгоритмы легче исправить, чем предвзятых людей.
