Дарио Амодеи: «Экспортный контроль чипов определит будущее ИИ»

Wes Roth 130 тыс. 34 мин 8 мин 30.01.2025
Главное

Популярный ИТ-блогер Уэс Рот представил детальный разбор недавнего заявления сооснователя компании Anthropic Дарио Амодеи, посвященного стремительному взлету китайской нейросети DeepSeek и будущему глобального экспортного контроля. В центре дискуссии — тектонические сдвиги в ИИ-индустрии, вызванные новыми алгоритмическими подходами и методами обучения с подкреплением. Автор анализирует, почему экономическая эффективность новых моделей не снизит, а лишь увеличит спрос на вычислительные мощности, создавая беспрецедентные геополитические вызовы.

🛡️ От защитника безопасности к военным контрактам 0:00

Дарио Амодеи, основатель ИИ-стартапа Anthropic и бывший вице-президент OpenAI, долгое время воспринимался технологическим сообществом как один из главных идеологов безопасного развития искусственного интеллекта. Однако в последнее время его взгляды начали существенно расходиться с позицией традиционных активистов ИИ-безопасности. Поводом для жесткой критики послужило официальное объявление о стратегическом партнерстве компаний Anthropic, Palantir и Amazon, целью которого стало предоставление ИИ-моделей семейства Claude для нужд американских разведывательных и оборонных ведомств.

Реакция ИИ-сообщества последовала незамедлительно:

Ведущий канала Уэс Рот при этом сохраняет нейтралитет, подчеркивая, что лишь констатирует изменения в медийной среде, где бывшие «чемпионы безопасности» начинают тесно сотрудничать с оборонным сектором США.

📈 Законы масштабирования и парадокс Джевонса 2:11

Амодеи в своей публикации обращает внимание на фундаментальные законы масштабирования (Scaling Laws), которые он сам помогал формулировать и документировать еще во времена работы в OpenAI. Суть этих законов проста: плавное увеличение объемов данных, вычислительной мощности и времени обучения неизменно приводит к росту когнитивных способностей модели.

Для наглядности Амодеи приводит условный пример выполнения сложных задач по программированию:

По словам Амодеи, каждое десятикратное увеличение бюджета может означать качественный скачок — например, переход от уровня знаний студента-бакалавра к уровню доктора наук (PhD). Именно этой логикой руководствуются технологические гиганты, такие как Meta и Microsoft, вливая колоссальные капиталы в закупку дефицитных графических чипов от Nvidia. И хотя у Google есть собственные тензорные процессоры (TPU), чипы Nvidia по-прежнему доминируют на рынке обучения ИИ.

Второй важнейший фактор — это «сдвиг кривой» за счет алгоритмического прогресса. Постоянное появление новых архитектурных решений позволяет запускать модели эффективнее на существующем оборудовании. Если алгоритмическое улучшение дает двукратный множитель эффективности, то результат модели за $10 млн теперь можно получить всего за $5 млн.

Уэс Рот увязывает это экономическое явление с известным парадоксом Джевонса: повышение эффективности использования ресурса парадоксальным образом ведет не к снижению, а к росту его общего потребления. Амодеи соглашается с этой логикой и считает, что удешевление «производства» интеллекта лишь откроет массу новых сценариев использования (робототехника, кодинг, переводы), провоцируя практически безграничный спрос. Согласно исследованию аналитической группы Epoch, алгоритмический прогресс в языковых моделях эквивалентен удвоению вычислительной мощности каждые 5–14 месяцев. Амодеи предполагает, что сегодня этот темп может достигать четырехкратного улучшения в год. Живым примером служит модель Claude 3.5 Sonnet, которая вышла спустя 15 месяцев после GPT-4, превзошла её по всем бенчмаркам, но при этом стоимость её API оказалась в 10 раз ниже.

🤖 Новая парадигма: обучение с подкреплением и «секретные мысли» 8:02

Долгое время ИИ-индустрия масштабировала преимущественно этап предварительного обучения (pre-training) на огромных массивах данных. Сейчас же, по мнению Амодеи, происходит смена парадигмы: фокус смещается на масштабирование вычислений на этапе вывода (test-time compute) с помощью обучения с подкреплением (Reinforcement Learning, RL). Модели учатся генерировать скрытые цепочки рассуждений (chains of thought) перед выдачей финального ответа.

Уэс Рот отмечает, что хотя OpenAI с моделью o1 и DeepSeek с моделью R1 уже представили полноценные рассуждающие модели, Anthropic пока отстает в этой гонке. У моделей Claude есть функция скрытого мышления («anthropic thinking»), однако блогер считает, что это не эквивалентно полноценным архитектурам o1 или R1, и китайская DeepSeek фактически обошла Anthropic на этом поле.

Для объяснения принципов работы обучения с подкреплением Уэс Рот обращается к игровой индустрии. Он приводит в пример проект Google Genie, где нейросеть создает кадры игры Doom в реальном времени на основе действий игрока. Чтобы обучить ИИ-агентов играть в Doom для генерации качественных датасетов, разработчики использовали систему наград и штрафов:

Аналогичный подход OpenAI использовала в виртуальной игре в прятки, где синие и красные агенты, сыграв миллиарды партий без прямых инструкций человека, самостоятельно изобрели сложные стратегии: от строительства укрытий до «серфинга» на коробках [13:40–14:29].

В контексте этих примеров Рот цитирует известного ИИ-исследователя Андрея Карпатого. По мнению Карпатого, лучшим вкладом в развитие открытого ПО (Open Source) со стороны сообщества стало бы создание разнообразных сред для обучения с подкреплением («спортивных залов» или RL gyms), которые помогали бы моделям оттачивать когнические стратегии. Такие задачи легко распараллелить, что позволяет энтузиастам собирать ИИ-модели подобно покемонам [15:36–16:03].

Амодеи подчеркивает, что эта парадигма находится в самом начале своей кривой масштабирования. Сейчас компании тратят на этап RL относительно небольшие суммы (миллионы долларов вместо сотен миллионов), но эти вложения дают колоссальную отдачу, и вскоре индустрия перейдет к масштабированию этапа RL до миллиардных бюджетов [16:56–17:09].

🇨🇳 Феномен DeepSeek: прорыв или экономическая иллюзия? 19:31

Анализируя недавние громкие релизы китайской компании DeepSeek, Дарио Амодеи призывает разделять две их модели: V3 (чистая предобученная модель) и R1 (рассуждающая модель). По его мнению, настоящей инженерной инновацией была именно V3, представленная месяц назад, тогда как R1 лишь воспроизводит наработки OpenAI o1 на базе уже готовой сильной модели. В V3 китайские инженеры внедрили важные оптимизации: кэш ключей-значений (key-value cache) и прорывные методы управления архитектурой смеси экспертов (Mixture of Experts, MoE), когда на каждый запрос активируется не вся гигантская модель, а лишь нужная группа субмоделей [20:33–20:46].

При этом глава Anthropic решительно опровергает популярный в медиа миф о том, что DeepSeek совершила чудо, создав за $6 млн то, на что американские лаборатории тратят миллиарды. По его словам, средняя американская модель вроде Claude 3.5 Sonnet обходится в обучении всего в несколько десятков миллионов долларов (около 20–30 млн). При этом Sonnet обучалась 9–12 месяцев назад без дистилляции знаний из других ИИ, тогда как DeepSeek V3 была обучена в ноябре-декабре и отстает от американских аналогов по внутренним тестам на 7–10 месяцев [21:25–21:38]. Таким образом, Амодеи считает DeepSeek V3 закономерной точкой на общемировой кривой снижения затрат, а не уникальным экономическим сломом.

Уэс Рот также обращает внимание на технические детали инфраструктуры китайской компании:

Рот также указывает на странное несовпадение в официальных отчетах DeepSeek: в документации V3 утверждается, что математические датасеты генерировались с помощью внутренней модели R1, хотя Амодеи заявляет, будто R1 создавалась путем дистилляции на основе V3 [24:14–24:51]. Блогер предполагает, что здесь может иметь место либо неточность со стороны Амодеи, либо лукавство китайских разработчиков, либо циклическое взаимное дообучение моделей [24:39–24:51].

🌍 Однополярный мир против «цифровых гениев» Китая 25:17

Поскольку экономическая ценность сверхинтеллекта колоссальна, любые сэкономленные на алгоритмах деньги компании будут немедленно реинвестировать в создание еще более мощных систем в рамках прежних гигантских бюджетов [26:37–26:50]. Амодеи уверен, что эта гонка продолжится до тех пор, пока не будет создан ИИ, превосходящий большинство людей практически во всех сферах. Он прогнозирует, что это произойдет уже в 2026–2027 годах. С этим прогнозом категорически не согласен известный критик ИИ Гэри Маркус, который публично предложил Амодеи пари на $100 000, утверждая, что до конца 2027 года такого интеллекта создано не будет [27:41–27:54].

По мнению основателя Anthropic, человечество стоит на пороге двух принципиально разных сценариев будущего:

  1. Биполярный мир. Если Китай получит доступ к миллионам ИИ-чипов, сформируется ситуация паритета. Амодеи описывает это как возникновение «целых стран, состоящих из гениальных исследователей, запертых в дата-центрах», которые будут круглосуточно двигать науку вперед [28:34–28:48]. Однако, по его опасениям, авторитарный Китай может направить значительно больше ресурсов и талантов на военные приложения ИИ. Контраргумент о том, что американская оценка Китая может быть предвзятой, Уэс Рот также считает важным упомянуть.
  2. Однополярный мир. Если экспортный контроль сработает и лишит Китай возможности закупать чипы миллионами, США и их союзники получат временное технологическое лидерство. Из-за способности ИИ совершенствовать самого себя этот временный отрыв может превратиться в необратимое стратегическое преимущество. Рот комментирует это метафорой: «Идет игра на все фишки», где правила фиксируются раз и навсегда.

В связи с этим Амодеи называет жесткий экспортный контроль важнейшим фактором мировой стабильности. Он отмечает, что скрыть закупки оборудования на $1 млрд (как текущий кластер DeepSeek) еще возможно, но спрятать масштабы в $10 млрд или $100 млрд физически нереально. Эксперт по полупроводникам Дилан Пател из SemiAnalysis уточняет, что под 50 000 чипов DeepSeek подразумеваются не только запрещенные к экспорту H100, но и урезанные легальные версии H20 и H800. Если у компании и есть топовые H100, то они были ввезены контрабандой.

В завершение Амодеи подчеркивает, что не считает самих китайских инженеров врагами — по его отзывам, это умные и любознательные ученые. Тем не менее, они полностью подконтрольны авторитарному правительству, и если Китай догонит США в сфере ИИ, его действия на мировой арене могут стать гораздо менее сдержанными.

💬 Цитаты

«Мы находимся в уникальной точке пересечения, где мощная новая парадигма находится в начале своей кривой масштабирования.»

Дарио Амодеи 17:09

«Лучшее, что можно сделать для открытого кода — помочь построить большое разнообразие сред для обучения с подкреплением.»

Андрей Карпатый 15:22
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
Test-time compute
Вычислительные мощности, затрачиваемые ИИ-моделью непосредственно в процессе формулирования ответа на запрос пользователя.
Mixture of Experts
Архитектурный подход в нейросетях, разбивающий единую модель на специализированные блоки, из которых для конкретной задачи активируется лишь часть.
Key-Value cache
Технология оптимизации работы трансформерных моделей, ускоряющая генерацию текста за счет кэширования промежуточных вычислений контекста.
Парадокс Джевонса
Экономический эффект, при котором технологический прогресс, увеличивающий эффективность использования ресурса, повышает объём его потребления.
📊 Цифры
🗓 Хронология
  1. 2020 год Публикация статьи Epoch о темпах алгоритмического прогресса в языковых моделях.
  2. Конец 2025 года Релиз базовой китайской языковой модели DeepSeek V3.
  3. 2026–2027 годы Прогнозируемый Дарио Амодеи период появления ИИ, превосходящего большинство людей во всех сферах.
⚖️ Другая сторона
Искусственный интеллект DeepSeek Anthropic Дарио Амодеи Уэс Рот законы масштабирования