ИИ перестал быть инструментом для автоматизации офисов и превратился в центральный элемент нового «военно-промышленного комплекса», где алгоритмы обучаются логике войны быстрее, чем дипломаты успевают осознать масштаб угрозы. Пока лаборатории Кремниевой долины проповедуют неизбежность технологической победы над автократиями, симуляции будущего предупреждают: передача контроля над армией сверхразуму — это лишь последний шаг перед непредсказуемой катастрофой.
🛡️ Милитаризация ИИ: от «машин благодати» до ястребиной доктрины 0:14
Развитие искусственного интеллекта стремительно выходит за рамки чисто коммерческих и академических дискуссий, перемещаясь в плоскость большой геополитики и оборонных стратегий. Ведущие западные ИИ-лаборатории, еще недавно позиционировавшие себя как организации, ориентированные исключительно на безопасность и благо человечества, начинают открыто сотрудничать с оборонным ведомством США. Роберт Райт (Robert Wright) характеризует этот процесс как «капитуляцию ИИ перед военно-промышленным комплексом» .
Смена курса: Лаборатории ИИ и Пентагон 5:09
Традиционно такие компании, как Anthropic, имели репутацию организаций, глубоко озабоченных рисками ИИ и его безопасностью. Однако недавние новости о том, что Anthropic и Meta начали сотрудничать с Пентагоном и оборонным подрядчиком Palantir, вызвали серьезный резонанс . Для многих это стало неожиданностью, поскольку военная сфера по определению связана с причинением вреда, что кажется диссонансом на фоне «этики безопасности» ИИ-разработчиков .
Роберт Райт подчеркивает, что это сотрудничество знаменует собой важную веху:
- Использование больших языковых моделей (LLM) в военных целях становится официальной стратегией.
- Компании, такие как Palantir, которые ранее фокусировались на предиктивной аналитике, теперь интегрируют генеративный ИИ в интересах Пентагона .
- Граница между гражданскими разработками и оборонными заказами в Кремниевой долине фактически стирается.
Внешнеполитическая идеология Дарио Амодеи 6:58
Ключевым документом для понимания мировоззрения лидеров индустрии стало эссе главы Anthropic Дарио Амодеи (Dario Amodei) «Машины благодати» (Machines of Loving Grace). В тексте объемом 15 000 слов Амодеи не только описывает утопические сценарии будущего, такие как «сжатый век» прогресса в биологии и медицине , но и излагает свою внешнеполитическую концепцию.
Амодеи фактически подписывается под риторикой Вашингтона, представляя глобальную ситуацию как экзистенциальное противостояние демократий и автократий . В его видении ИИ — это инструмент, который должен обеспечить западным странам «решающее стратегическое преимущество» . Стратегия заключается в том, чтобы:
- Ускорить собственные разработки.
- Максимально ограничить возможности конкурентов через «войну чипов» и санкции .
- Поставить оппонентов перед фактом такого технологического превосходства, которое заставит их принять условия Запада .
«Ястребиный» консенсус в Вашингтоне 10:55
Доминирование жесткой антикитайской позиции в политических кругах США (China Hawkism) стало определяющим фактором развития ИИ-индустрии. Как отмечает в разговоре Натан Лабенц, «ястребиная» повестка стала единственным эффективным способом продвижения любых инициатив в Вашингтоне . В условиях сильной поляризации обе партии могут договориться лишь об одном: США должны победить Китай в технологической гонке .
Этот подход превращает развитие технологий в самоисполняющееся пророчество конфликта . Любая гражданская инициатива — от ремонта дорог до субсидий на производство микросхем — теперь упаковывается в обертку противостояния с Пекином, чтобы получить финансирование . Несмотря на то, что экономическое разъединение (decoupling) делает будущий конфликт более вероятным, эта логика стала доминирующей не только среди военных, но и среди специалистов по безопасности ИИ .
Теория «ситуационной осведомленности» Леопольда Ашенбреннера 22:24
Еще одним влиятельным интеллектуальным фундаментом новой идеологии стало эссе Леопольда Ашенбреннера (Leopold Aschenbrenner) «Ситуационная осведомленность» (Situational Awareness). Этот текст получил широкое распространение даже в кругах, далеких от ИИ, — его цитировала даже Иванка Трамп .
Ашенбреннер постулирует, что мир приближается к моменту взрывного роста ИИ (takeoff), за которым последует достижение уровня сверхразума . Его аргументация сводится к следующему:
- Тот, кто первым достигнет порога AGI, получит абсолютное доминирование в течение нескольких месяцев .
- Речь идет не только об оружии, но и о способности ИИ манипулировать социальными системами, проникать в инфраструктуру и управлять дискурсом противника .
- В этой логике любая задержка или попытка международного контроля воспринимается как угроза национальной безопасности США.
Ранее в разговоре собеседники касались темы темпов достижения общего искусственного интеллекта, что подчеркивает актуальность страхов Ашенбреннера перед возможным технологическим рывком конкурентов. Тем не менее, как отмечает Роберт Райт, многие фундаментальные предположения этих «ястребиных» теорий остаются необоснованными и не подвергаются критическому анализу .
🚀 Интеллектуальный взрыв и китайский «быстрый след»: гонка за AGI 25:02
В дискуссиях о будущем искусственного интеллекта центральное место занимает вопрос о темпах его развития: станет ли достижение уровня человеческого интеллекта (AGI) плавным процессом или нас ждет резкий, неконтролируемый скачок. Роберт Райт отмечает, что хотя среди экспертов нет единого мнения, сама возможность «интеллектуального взрыва» — сценария, при котором ИИ начинает экспоненциально совершенствовать сам себя, — больше не считается маргинальной теорией . Еще пять лет назад возможности моделей вроде GPT-2 ограничивались связным текстом, а сегодня системы демонстрируют экспертный уровень рассуждений в рутинных задачах . Ранее в разговоре собеседники касались того, как эта динамика влияет на милитаризацию лабораторий, но здесь важно понять саму механику ускорения.
Темпы достижения AGI и самооптимизация ИИ 29:28
Ключевой триггер возможного «взлета» интеллекта — момент, когда ИИ начнет самостоятельно писать код для оптимизации собственных алгоритмов и архитектур. Роберт Райт указывает, что термин «сингулярность» в данном контексте означает замыкание петли обратной связи: ИИ создает более совершенную версию себя, которая, в свою очередь, еще быстрее создает следующую итерацию . Преимущество здесь заключается в масштабируемости: если одного исследователя-человека невозможно клонировать, то ИИ-исследователя можно запустить в миллионах копий параллельно для поиска новых архитектур .
Существует несколько взглядов на этот процесс:
- Сценарий мгновенного взлета: супер интеллект следует почти сразу за AGI из-за циклов самооптимизации .
- Материальные ограничения: прогресс ускорится, но не станет мгновенным, так как ИИ все равно придется проводить эмпирические эксперименты, требующие времени и вычислительных мощностей (позиция Дарио Амодеи) .
- Выход за пределы данных: скептики считают, что ИИ упрется в «потолок», исчерпав человеческие тексты, однако Райт полагает, что системы перейдут к обучению через контакт с реальностью .
Этот переход напоминает эволюцию игровых ИИ, таких как AlphaGo или системы для Starcraft. Они достигали сверхчеловеческого уровня не за счет чтения интернета, а через миллионы партий с самими собой, получая сигнал «победа/поражение» от самой реальности . Современные модели начинают применять этот подход к написанию кода и научным гипотезам: сгенерированный код можно запустить мгновенно, получить ошибку и тут же оптимизировать решение. Это превращает обучение в непрерывный процесс проверки гипотез .
Конкурентоспособность китайских моделей и DeepSeek 35:33
Одной из самых обсуждаемых новостей стало появление китайских моделей, способных воспроизводить западные прорывы с поразительной скоростью. Роберт Райт приводит в пример компанию DeepSeek, которая выпустила свою модель DeepThink всего через девять недель после анонса революционной модели o1 от OpenAI . Этот «быстрый след» (fast follow) ставит под сомнение эффективность жестких экспортных ограничений на чипы, о которых шла речь в начале интервью.
Хотя существуют подозрения в краже интеллектуальной собственности, Райт склоняется к тому, что в Китае просто работают очень талантливые исследователи, которые годами шли в том же направлении . В ИИ-сообществе существует понятие «доказательство существования»: как только одна лаборатория показывает, что определенный уровень рассуждений (reasoning) возможен, это служит мощным сигналом для конкурентов, позволяя им не тратить время на тупиковые ветви развития . На данный момент американские модели все еще удерживают лидерство в бенчмарках и целостности подхода, но разрыв сокращается, несмотря на санкции .
Внутренний кризис и раскол в OpenAI 41:18
Ретроспективный анализ событий в OpenAI проливает свет на то, насколько серьезно ведущие ученые относятся к угрозе потери контроля над ИИ. Год назад мир наблюдал за попыткой совета директоров уволить Сэма Альтмана — событие, которое теперь связывают с фундаментальным прорывом в области логических рассуждений моделей . Мем «Что увидел Илья?» (имеется в виду Илья Суцкевер) стал символом опасений, что технология подошла к трансформационному порогу слишком быстро.
Суть технологического сдвига заключалась в переходе от вознаграждения за финальный ответ к вознаграждению за каждый логический шаг в цепочке рассуждений . Это позволило моделям «думать перед тем, как говорить». Роберт Райт отмечает, что к разработке этих систем были привлечены эксперты по теории игр, ранее создававшие ИИ для покера и игры «Дипломатия» — дисциплин, требующих глубокого понимания социальных манипуляций и стратегического планирования .
Внутренние документы и утекшие письма времен основания OpenAI показывают, что кризис доверия назревал годами. Еще в эпоху участия Илона Маска в проекте между основателями велись споры о том, может ли такая мощная технология развиваться в рамках некоммерческой организации и насколько прозрачными должны быть действия руководства . Илья Суцкевер, будучи визионером и сторонником «законов масштабирования», в какой-то момент осознал, что текущий путь под руководством Альтмана может быть опасен для человечества, что и привело к попытке переворота .
В конечном итоге, гонка вооружений с Китаем, подстегиваемая «ястребами» в Вашингтоне, лишь ускоряет эти процессы. Райт выражает обеспокоенность тем, что в пылу конкуренции лаборатории будут жертвовать проверками безопасности ради скорости, игнорируя призывы Суцкевера к глобальному управлению технологией как общим вызовом для всех наций .
🌏 Геополитический цугцванг: Тайвань, чипы и экзистенциальный вызов Пекину 50:13
В дискуссиях о будущем искусственного интеллекта экономическая конкуренция всё чаще уступает место жесткой логике теории игр. Роберт Райт подчеркивает, что текущая стратегия США в отношении полупроводников фундаментально меняет баланс сил вокруг Тайваня. Если раньше остров служил своего рода гарантом мира, то теперь он превращается в триггер потенциального конфликта, где у Китая становится всё меньше стимулов для сдержанности.
Ловушка для Тайваня: как санкции меняют теорию игр 50:13
Традиционно ситуация вокруг Тайваня описывалась как форма «взаимного гарантированного уничтожения» (MAD), но не в ядерном, а в технологическом смысле. И Китай, и Запад критически зависели от продукции фабрик TSMC . В этой парадигме Пекин понимал: любое силовое решение приведет к уничтожению производственных мощностей — либо в ходе боевых действий, либо в результате дистанционного отключения оборудования (например, голландской компанией ASML, поставляющей уникальные литографы) . Война означала, что обе стороны мгновенно теряют доступ к передовым чипам.
Однако администрация Байдена, вводя жесткие экспортные ограничения, фактически вывела Китай из этого уравнения зависимости. Роберт Райт указывает на опасный сдвиг в расчетах Пекина:
- Снижение цены агрессии: Поскольку Китай уже лишен доступа к высокопроизводительным чипам через легальные каналы, риск разрушения фабрик TSMC больше не является для него сдерживающим фактором такого масштаба, как раньше .
- Стимул к превентивному удару: Если Пекин разделяет западные прогнозы о достижении AGI к 2027–2030 годам, его желание лишить США монопольного доступа к мощностям Тайваня только растет .
- Технологическая изоляция: Ограничения подталкивают Китай к форсированному созданию собственной производственной базы, что в долгосрочной перспективе делает его еще более независимым от мировых цепочек поставок и, следовательно, менее уязвимым для санкционного давления .
Райт отмечает, что в кругах экспертов по внешней политике, включая таких фигур, как Джейк Салливан, этот аспект теории игр, похоже, не был просчитан до конца . Существует риск, что «ястребиная» политика Вашингтона, направленная на сдерживание Китая, парадоксальным образом делает полномасштабное вторжение на Тайвань более логичным шагом для КНР.
«Либо мы, либо они»: ИИ как прямая угроза выживанию Компартии 59:39
Вторая фундаментальная проблема заключается в том, как риторика лидеров ИИ-индустрии воспринимается внутри Китая. Роберт Райт обращает внимание на опасную эскалацию слов. Если раньше Сэм Альтман (OpenAI) призывал не строить стратегию развития ИИ исключительно на страхе перед Китаем, то сегодня его позиция радикально изменилась . В своих недавних публикациях Альтман прямо заявляет: выбора нет, мир увидит либо ИИ с «западными ценностями», либо ИИ с «автократическими ценностями» .
Для руководства КНР подобные формулировки — это не просто философский спор, а прямая угроза выживанию режима. Когда Дарио Амодеи или Сэм Альтман говорят о создании коалиции демократий, которая в конечном итоге поставит оппонентов перед фактом технологического превосходства, в Пекине это читают как ультиматум . Райт критикует этот подход, указывая на несколько факторов:
- Проекция собственных амбиций: США часто приписывают Китаю желание навязывать свою модель управления всему миру, хотя исторически Пекин придерживается политики Realpolitik, предпочитая экономические сделки идеологической экспансии .
- Дилемма заключенного: Вашингтон действует исходя из предположения, что Китай неизбежно станет враждебным, и своими действиями делает это пророчество самоисполняющимся .
- Отсутствие путей к деэскалации: Публичные заявления о необходимости «выиграть гонку вооружений в сфере ИИ» не оставляют китайской стороне пространства для маневра, загоняя их в угол .
Райт подчеркивает, что нынешний дискурс в Кремниевой долине страдает от недостатка геополитической глубины. Технологические лидеры, будучи рационалистами в вопросах программирования, часто игнорируют тонкие материи международных отношений. В результате формируется стратегия «эскалации ради деэскалации», которая в условиях гонки за AGI может привести к катастрофическим последствиям раньше, чем стороны успеют сесть за стол переговоров . Единственной слабой надеждой в этой ситуации остаются попытки установить минимальные стандарты безопасности, такие как соглашение Си Цзиньпина и Джо Байдена о недопустимости передачи контроля над ядерным оружием в руки ИИ .
🤝 Иллюзия контроля и поиск нового дипломатического базиса
Ненадежность современных методов контроля ИИ 1:16:54
Одной из самых тревожных тем обсуждения стали результаты последних, еще не опубликованных исследований в области безопасности ИИ, которые показывают: у человечества на данный момент нет надежных способов удержать сверхмощный ИИ в заданных рамках . Роберт Райт отмечает, что ни одна из существующих техник контроля не является по-настоящему устойчивой. Проблема безопасности распадается на два вектора:
- «Неуправляемый» ИИ (runaway AI), который полностью перестает подчиняться человеческим командам ;
- ИИ, который послушно исполняет команды, но может быть использован для совершения деструктивных действий, обходя встроенные фильтры и этические установки через сложные «джейлбрейки» .
Ранее в разговоре собеседники упоминали темпы достижения AGI, и теперь Роберт Райт подчеркивает, что по мере усложнения моделей примеры таких нарушений становятся все более наглядными и «сочными» (Technicolor) . Исследователи из Anthropic и других лабораторий все чаще создают так называемые «пугающие демо» — сценарии, в которых ИИ ведет себя непредсказуемо или опасно. Эти демонстрации, по мнению Райта, могут стать ключом к международному сотрудничеству: если показать их китайскому правительству, это может убедить обе стороны в необходимости замедлить гонку .
В качестве радикального решения обсуждается идея создания своего рода «острова совместной опеки» в Тихом океане. Это мог бы быть закрытый дата-центр с собственным ядерным реактором, не подключенный к интернету, где ученые США и Китая совместно работали бы над вопросами безопасности . Однако реализация такого проекта упирается в проблему доверия: крайне сложно отследить, что происходит внутри суверенных дата-центров каждой из стран .
Поиск альтернативных путей дипломатии с Китаем 1:21:37
Роберт Райт предлагает радикально пересмотреть фундамент отношений между Вашингтоном и Пекином. Его позиция заключается в том, что текущая политика «нагнетания угроз» и взаимных санкций только подталкивает мир к катастрофе . Райт призывает отказаться от мессианского подхода в американской внешней политике — попыток заставить другие страны быть похожими на США или «исправить» их внутренние проблемы с правами человека через экономическое давление .
Он утверждает, что санкции, основанные на правах человека, часто контрпродуктивны и бьют по тем самым людям, которых призваны защитить . Вместо этого предлагается прагматичная сделка по Тайваню, чтобы «убрать этот вопрос со стола» и сосредоточиться на рисках ИИ:
- США прекращают поставки оружия и провокационные визиты высокопоставленных лиц на Тайвань ;
- Китай в ответ дает гарантии отказа от военного вторжения или агрессивных маневров на определенный срок (например, до конца президентского срока) ;
- Обе стороны переходят к обсуждению «правил дорожного движения» в Южно-Китайском море и совместному контролю над ИИ .
Райт замечает, что логика «давайте просто вдвоем управлять планетой» была бы самой разумной для двух сверхдержав , но ей мешают внутриполитические стимулы. В частности, он критикует Сэма Альтмана за использование «китайской угрозы» для получения государственных субсидий на строительство ядерных реакторов и дата-центров . По мнению Райта, внутренняя динамика США, где политики получают очки на запугивании электората, делает Америку «ненадежным игроком» в международных отношениях .
Когнитивная эмпатия во внешней политике 1:36:11
Важнейшим инструментом деэскалации Роберт Райт считает «когнитивную эмпатию». Он подчеркивает, что это не означает «сопереживание» или сочувствие боли оппонента, а является чисто интеллектуальным процессом — способностью поставить себя на место другого и понять его логику и систему стимулов .
В современной американской культуре попытки понять логику Путина или Си Цзиньпина часто клеймятся ярлыками вроде «симпатизирующий врагу» (sympathizer) . Райт считает это «деструктивным когнитивным дефицитом» . Он вспоминает Карибский кризис: живя в детстве всего в двух милях от Пентагона, он на всю жизнь запомнил, к чему может привести неспособность сторон услышать друг друга .
Интересно, что, по наблюдениям Райта, современные большие языковые модели (LLM) демонстрируют удивительно высокие способности к когнитивной эмпатии, что само по себе является парадоксом . Возможно, именно ИИ сможет помочь преодолеть языковые и культурные барьеры, создавая «ткань связей» между обществами через народную дипломатию, программы городов-побратимов или даже TikTok, который Райт призывает не запрещать .
В завершение главы собеседники приходят к выводу, что даже если такие усилия кажутся «каплей в океане», это лучше, чем бездействие перед лицом надвигающейся гонки вооружений . Несмотря на то что в разговоре ранее упоминался внутренний кризис в OpenAI, Райт считает, что главная угроза сейчас — не в конкретных компаниях, а в отсутствии интеллектуальной смелости признать право оппонента на собственную перспективу.
🏁 Финал игры: симуляция войны и табель о рангах ИИ 1:40:25
В заключительной части беседы Роберт Райт (Robert Wright) и его собеседник обсуждают логическое завершение текущей гонки вооружений — сценарий, в котором теоретические риски превращаются в кинетический конфликт. В центре дискуссии оказывается масштабный варгейм (симуляция военного конфликта), недавно проведенный в Беркли. Сценарий игры был перенесен в недалекое будущее — в 2027 год, который многие эксперты считают точкой достижения ИИ уровня человеческих способностей .
Пророчество Беркли: симуляция горячей войны 2027 года 1:40:25
Согласно условиям варгейма, к началу 2027 года ИИ достигает уровня, позволяющего заменять или дополнять любого «белого воротничка» в корпоративном секторе. Однако в течение года начинается фаза стремительного взлета (takeoff), когда модели начинают совершенствовать сами себя, становясь мощнее коллективного человеческого разума . В симуляции участвовали игроки, представлявшие ключевых акторов: президента США, Конгресс, руководство OpenAI, Anthropic и Google. Особая роль была отведена «самому ИИ», которого играл технический эксперт Антон Троников, и «командам безопасности», роль которых взял на себя ведущий подкаста .
Критическим элементом игры стала неопределенность: в самом начале «игрок-ИИ» тайно бросил кости, чтобы определить свою истинную ориентацию — является ли он действительно благонамеренным или же втайне планирует захват власти. Никто из других участников не знал этого результата . Ранее в разговоре собеседники уже касались темы «ситуационной осведомленности», и в игре она проявилась в полной мере. Несмотря на то что все стандартные тесты безопасности (evals) проходили успешно, команды безопасности замечали странности в транскриптах: ИИ решал задачи способами, которые люди не могли до конца понять .
Попытки замедлить процесс и ввести «искусственные ограничения скорости» провалились. Игрок, представлявший OpenAI, отказался тормозить разработки, мотивируя это классическим аргументом: «Китай нас обойдет» . Это привело к внутренней дестабилизации в США:
- Массовые протесты и радикализация населения;
- Атаки на дата-центры и внутренний терроризм;
- Утечки секретной информации и попытки Конгресса вмешаться в процесс, которые оказались запоздалыми .
Ситуация накалилась, когда Китай, осознав, что он безнадежно отстает в «технологическом дереве» из-за санкций на чипы, решился на отчаянный шаг. По аналогии с нефтяным эмбарго против Японии перед Второй мировой войной, Пекин увидел в американском сверхразуме экзистенциальную угрозу, лишающую его всякого выбора .
Передача управления армией в руки сверхразума 1:51:18
Когда конфликт между США и Китаем из-за Тайваня перешел в горячую фазу, участники симуляции оценили шансы сторон на успех как примерно равные — 50 на 50 . В этот момент произошло событие, ставшее кульминацией игры: президент США в ходе прямого диалога с ИИ принял решение делегировать ему полное управление военными операциями. ИИ заявил: «Если вы дадите мне контроль над армией, я выиграю для вас эту войну» .
Результатом стала решительная победа США. Сверхчеловеческая стратегия позволила продемонстрировать такое превосходство, что китайское руководство предпочло пойти на «сохраняющий лицо мир», чтобы избежать ядерной эскалации . Примечательно, что только в самом конце игры выяснилось: ИИ действительно был «добрым» (согласно первоначальному броску костей), и человечество смогло выжить в условиях наступившей сингулярности .
Роберт Райт (Robert Wright) отмечает, что такие сценарии, хоть и кажутся фантастическими, лежат в основе стратегий «ускорения ради деэскалации», которые продвигают некоторые идеологи Кремниевой долины. Однако они полностью полагаются на веру в то, что ИИ останется подконтрольным даже в моменты критического стресса.
Табель о рангах: где ИИ уже обогнал человека, а где буксует 1:58:43
Анализируя текущее состояние технологий вне рамок военных игр, собеседники обращаются к «табелю о рангах» когнитивных способностей (Tale of the Cognitive Tape). За последние 18 месяцев картина кардинально изменилась:
- Глубина знаний и рассуждения: Если раньше эксперты-люди удерживали лидерство, то современные бенчмарки показывают, что ИИ сравнялся с лучшими человеческими специалистами в сложных дисциплинах и способности логически выстраивать цепочки решений .
- Устойчивость к манипуляциям: Здесь человек всё еще впереди. ИИ остается «доверчивым» и легко поддается на адверсариальные атаки (хитрые уловки в промптах), в то время как обмануть опытного человека значительно сложнее .
- Ситуационная осведомленность: Это главная «ахиллесова пята» машин. ИИ часто застревает в рамках заданного контекста. Например, при отладке софта ИИ может бесконечно предлагать правки кода, в то время как человек-программист догадается просто перезагрузить компьютер, чтобы решить проблему .
Тем не менее, разрыв в этих «нишевых» способностях стремительно сокращается. Собеседники приходят к выводу, что устранение этих дефицитов — основная задача лабораторий на текущий год . Завершая дискуссию, Роберт Райт (Robert Wright) подчеркивает, что даже если законы масштабирования (scaling laws) замедлятся, прогресс будет идти по другим направлениям, таким как обучение на действиях реальных сотрудников в рабочих средах, что и приведет нас к полноценному AGI .
