# Эндрю Фельдман о Cerebras: Как создать самый большой чип для ИИ в мире

Источник: https://www.youtube.com/watch?v=JjQkNzzPm_Q
Канал: The Cognitive Revolution
Опубликовано: 25.05.2023

---

## Революция в индустрии чипов: путь Cerebras и Эндрю Фельдмана
[[JUMP:0:00]]

Индустрия искусственного интеллекта переживает фундаментальный сдвиг, где вычислительная мощность становится критическим геополитическим активом. Эндрю Фельдман, основатель и генеральный директор Cerebras Systems, в беседе с Натаном Лейбенсом и Эриком Торнбергом (подкаст The Cognitive Revolution) обсуждает создание «самого большого в мире чипа» и то, как специализированное «железо» меняет правила игры в эпоху обучения масштабных языковых моделей.

### 🛠 Происхождение: «Здесь будут драконы»
[[JUMP:11:48]]

История Cerebras началась в 2015 году, когда группа ветеранов индустрии чипов решила не просто улучшить существующие решения, а кардинально трансформировать отрасль.

*   **Видение:** Команда задалась вопросом: «Что именно нужно для обучения ИИ?». Они стремились создать не универсальный графический процессор (GPU), а специализированную машину, оптимизированную исключительно для рабочих нагрузок ИИ.
*   **Выбор направления:** Основатели решили работать над самыми сложными задачами, которые другие компании обходили стороной, называя их «территорией драконов».
*   **Архитектурный подход:** В отличие от традиционных чипов, где коммуникация между компонентами занимает много времени и энергии, Cerebras создали сверхбольшой чип, позволяющий держать все данные внутри «границ» кремния.

### 💡 Технологические прорывы и переломные моменты
[[JUMP:23:52]]

Одной из главных проблем современных вычислений для ИИ является ограничение памяти и полосы пропускания.

*   **Решение проблемы масштабирования:** По словам Фельдмана, при использовании тысяч обычных GPU возникают колоссальные сложности с распределением задач и координацией (закон Амдала). Огромный чип Cerebras с 850 000 ядер позволяет разместить крупнейшие слои нейросетей целиком, устраняя необходимость разбиения модели.
*   **Спарсити (Sparsity):** Фельдман утверждает, что ИИ-задачи по своей природе часто являются «разреженными» (sparse), то есть содержат много нулей. Традиционные чипы тратят энергию на умножение этих нулей, в то время как архитектура Cerebras «умна» и просто пропускает бесполезные вычисления, экономя ресурсы.
*   **Производство:** Работа с TSMC (Taiwan Semiconductor Manufacturing Company) позволила реализовать производство без разрезания пластины на мелкие чипы, используя уникальную методику коммуникации через «линии скрайбирования» (промежутки, которые обычно отсекаются).

### ⚠️ Ошибки, уроки и текущий этап
[[JUMP:56:23]]

Несмотря на технологическое лидерство, компания столкнулась с необходимостью создания собственной экосистемы.

*   **Системный подход:** Команда осознала, что недостаточно спроектировать чип; пришлось создавать полноценные серверы, системы водяного охлаждения и даже компиляторы.
*   **Проблема «железа»:** Самым сложным оказалось отсутствие готовых компонентов — от оборудования для изготовления до систем охлаждения. Инженеры Cerebras были вынуждены изобретать всё с нуля.
*   **Текущая стадия:** Сейчас компания активно разворачивает суперкомпьютеры (например, Andromeda на 16 чипах с 13,6 млн ядер) и предоставляет доступ к своим моделям. Фельдман подчеркивает, что они сделали выбор в пользу открытого исходного кода (Apache 2.0) для своих GPT-моделей.

### 🔮 Взгляд в будущее
[[JUMP:1:03:04]]

Гость полагает, что разделение на «ядро» (дата-центры с огромными чипами) и «периферию» (Edge-устройства) сохранится, так как задачи обучения требуют интенсивной работы с данными, а инференс может быть оптимизирован для малых чипов.

*   **Риски:** По мнению Фельдмана, риски использования ИИ для преследований или мошенничества реальны и требуют тщательной проработки.
*   **Оптимизм:** Несмотря на угрозы, он уверен, что ИИ фундаментально улучшит жизнь общества, так как алгоритмы легче исправить, чем предвзятых людей.