Когда скорость принятия решений на поле боя обгоняет человеческое восприятие, война превращается в алгоритмический хаос, где случайная ошибка ИИ может спровоцировать глобальную катастрофу. Мы стоим на пороге эпохи «сингулярности конфликтов», где главной задачей становится не победа над противником, а сохранение человеческого контроля над машинами, лишенными эмпатии и контекстуального мышления.
🤖 Битва на гиперскорости: На пороге сингулярности поля боя 1:13
Ускорение темпа войны и феномен сингулярности 1:13
Интеграция искусственного интеллекта в современные системы вооружения стремительно приближает человечество к критической точке, меняющей саму природу вооруженных конфликтов. Как отмечает ведущий военный стратег Пол Шарре, автор фундаментального исследования Army of None: Autonomous Weapons and the Future of War, мы находимся на пороге кардинального сдвига, когда скорость и оперативный темп боевых действий начнут преодолевать физические границы человеческого восприятия. Этот феномен эксперты называют «сингулярностью на поле боя».
Концептуально устройство автономных систем можно сопоставить с гражданскими технологиями, например, с беспилотными автомобилями, где автоматизация внедряется постепенно и линейно. Разработчики пошагово добавляют функции автономного вождения, передавая машине все больше рутинных задач. Однако в военной сфере этот процесс ведет к тектоническим сдвигам. Когда ИИ полностью интегрируется в оружие, комплексы получают возможность самостоятельно — будучи однажды активированными человеком — выбирать и поражать цели в динамической обстановке.
Главная опасность заключается в том, что по мере нарастания темпа войны реакция человека окажется слишком медленной. Боевые действия превратятся в столкновение алгоритмов, развивающееся на таких скоростях, при которых люди физически потеряют способность осмысленно контролировать применение насилия и ход войны в целом.
Автономные рои дронов и слом военных иерархий 4:34
Наиболее радикальной точкой слома традиционного военного дела становится переход от одиночных беспилотников к скоординированной роевой войне. Те беспилотные летательные аппараты, которые активно применяются на фронтах сегодня, по-прежнему жестко привязаны к операторам-людьми, управляющим ими дистанционно. Настоящая технологическая революция произойдет тогда, когда армии перейдут к использованию массовых автономных роев, способных самостоятельно адаптировать свое поведение прямо в процессе выполнения боевой задачи.
Пол Шарре предлагает представить сценарий, в котором на поле боя одновременно разворачиваются 10 000 автономных дронов. Такая группировка способна реализовать задачи, принципиально невыполнимые силами людей:
- Проведение синхронных скоординированных атак на оборонительные порядки противника сразу с множества направлений.
- Использование самовосстанавливающихся сетей связи (self-healing communications) для мгновенного перераспределения ролей в случае уничтожения части аппаратов.
- Ведение боевых действий на принципиально ином уровне масштаба и скорости принятия тактических решений.
Подобная децентрализованная модель координации коренным образом подрывает классическую иерархическую структуру военного управления. Исторически армии строились по жесткому вертикальному принципу передачи приказов сверху вниз. Однако роевая архитектура полностью исключает эту громоздкую цепочку. Шарре сравнивает функционирование автономного роя с идеальным футбольным матчем: одиннадцать игроков на поле не ждут подсказок тренера по рации перед каждым пасом. Они действуют как единый организм, динамически и оптимально распределяя позиции и используя пространство для достижения победы.
Предел человеческой реакции: Алгоритмические вспышки и соревновательное давление 9:13
Предвестники будущего, в котором машины перехватывают контроль над критическими системами из-за дефицита времени, существуют уже несколько десятилетий. Наглядный пример — комплексы противовоздушной и противоракетной обороны. В ситуации массированного налета, когда по объекту одновременно выпускаются десятки ракет, артиллерийских снарядов или минометных мин, у человека-оператора физически нет времени на оценку каждой угрозы. Активированная людьми система ПВО вынуждена работать полностью автоматически, самостоятельно захватывая и уничтожая цели. Шарре напоминает, что передача контроля алгоритмам уже приводила к трагическим ошибкам — например, к инцидентам «дружественного огня» (fratricide) с участием американских зенитно-ракетных комплексов Patriot во время кампании 2003 года.
В перспективе нескольких десятилетий военные столкновения рискуют превратиться в полностью автономные экосистемы, мгновенно реагирующие на действия вражеских алгоритмов. Роль человека сократится до пассивного наблюдения за ходом высокоскоростного боя с возможностью лишь корректировать общие директивы верхнего уровня.
Шарре находит пугающе точную аналогию этой динамике на финансовых рынках. В сфере высокочастотного трейдинга взаимодействие автономных торговых алгоритмов уже не раз приводило к мгновенным неконтролируемым обвалам — так называемым flash crashes. Но если в экономике регуляторы смогли внедрить принудительные «автоматические выключатели» (circuit breakers) для остановки торгов и стабилизации ситуации, то на войне подобные механизмы реализовать крайне сложно из-за экзистенциального соревновательного давления. Армии осознают, что искусственное замедление темпа ради сохранения контроля человека гарантированно ведет к поражению в столкновении с более быстрой автоматизированной системой противника. Это соревновательное давление неумолимо выталкивает человеческое мышление из контура тактического управления.
Ранее в беседе участники также вскользь упомянули проблему хрупкости автоматизации и исторический инцидент на советской ядерной станции с участием Станислава Петрова, детальный разбор которых авторы переносят в последующие главы исследования.
☢️ ИИ в системах ядерного командования: Риски ускорения и дефицит исторического опыта 26:09
Иллюзия «истины»: Проблема верификации данных и дефицит реального опыта 27:34
Внедрение искусственного интеллекта в сферу стратегического ядерного командования ставит перед разработчиками сложнейшие вызовы. Военные инженеры стремятся создать системы, которые не просто жестко запрограммированы, а обучены гибко адаптироваться к меняющейся обстановке. Идеальный ИИ-помощник должен обладать способностью к базовому рассуждению и пониманию глубокого геополитического контекста. Однако Пол Шарре указывает на фундаментальную проблему: современные алгоритмы, которые планируется интегрировать в разведывательные структуры, сталкиваются с невозможностью верификации данных и установления «абсолютной истины» (ground truth).
ИИ собирает информацию о местонахождении высшего политического руководства и маршрутах стратегических атомных подлодок противника. На основе этих данных система выдает вероятностные суждения вроде: «Существует 70%-я вероятность того, что противник готовит атаку». В условиях ядерного кризиса такое размытое суждение может спровоцировать катастрофическую ошибку. Главный парадокс заключается в том, что нейросети невозможно обучить на реальных сценариях ядерной войны, поскольку у человечества, к счастью, отсутствует подобный исторический опыт.
В высокорисковых ситуациях алгоритмы неизбежно будут сбоить из-за аномалий, которые они никогда не видели при обучении. Шарре напоминает, что в истории ядерного сдерживания человеческое суждение не раз спасало мир во время ложных тревог. Системы предупреждения принимали за запуск баллистических ракет обычный солнечный свет, отраженный от облаков, или пуск мирной исследовательской метеорологической ракеты. Если передать оценку таких аномалий и прогнозирование поведения врага автоматизированным рассуждающим системам на базе больших языковых моделей (LLM), цена их галлюцинации окажется фатальной.
Разрушение стратегического баланса: Охота за подлодками и стимулы превентивного удара 36:40
Массовое внедрение ИИ способно фундаментально дестабилизировать основы ядерного сдерживания. С одной стороны, военные стратеги надеются использовать алгоритмы для перепроверки данных, обеспечивая множественные независимые каналы информирования об угрозах. С другой стороны, способность ИИ мгновенно анализировать терабайты спутниковых снимков уничтожает концепцию скрытности. Нейросети способны отслеживать перемещения ядерных субмарин и мобильных грунтовых комплексов — грузовиков с межконтинентальными ракетами.
Пол Шарре подчеркивает, что такая абсолютная прозрачность парадоксальным образом подрывает безопасность, создавая у одной из сторон иллюзию возможности нанесения обезоруживающего превентивного удара. Стратеги могут посчитать, что ИИ позволит уничтожить большую часть арсенала врага, а оставшиеся единичные ракеты будут перехвачены системами противоракетной обороны.
Это порождает опасную психологическую динамику «используй оружие или потеряешь его» (use it or lose it). Если Китай или Россия почувствуют, что их силы ответного удара стали уязвимыми из-за американских алгоритмов слежения, у них возникнет мощный стимул запустить свои ракеты первыми при малейшем подозрении. Такие страхи уже провоцируют Пекин на масштабное наращивание ядерного потенциала, утягивая ведущие державы в крайне сложную и непредсказуемую гонку вооружений. Ситуация становится еще более взрывоопасной на фоне агрессивной риторики и «ядерного бряцания оружием», к которому регулярно прибегает Владимир Путин для дипломатического шантажа.
Контроль над вооружениями в эпоху софта: Как удержать человека в контуре 42:05
Для предотвращения апокалипсиса Пол Шарре считает критически важным заключение международных соглашений, накладывающих жесткие ограничения на автоматизацию ядерных сил. Ядерные державы должны официально договориться о том, что человек всегда обязан оставаться в контуре управления (human in the loop) и единолично принимать решения о пуске. Соединенные Штаты уже закрепили это обязательство в своем Обзоре ядерной политики (Nuclear Posture Review) и публичных заявлениях. Однако для стабильности необходимо, чтобы к этой инициативе присоединились другие игроки, включая Россию.
Главная сложность заключается в том, что традиционные методы контроля над вооружениями здесь не работают. В эпоху Холодной войны верификация договоров сводилась к подсчету физических объектов — спутники фиксировали строительство шахтных пусковых установок. Программное обеспечение невозможно проконтролировать стандартными инспекционными процедурами. Нельзя заглянуть в код систем управления противника и гарантировать, что там нет скрытых автономных протоколов.
Государства продолжат развивать ИИ, так как видят в нем колоссальное военное преимущество. Ранее в разговоре Пол Шарре упоминал, что некоторые виды угроз, такие как биологическое оружие, требуют тотального запрета (подробнее об этом — в главе 5). Однако в сфере обычных вооружений автоматизация неизбежна. В ближайшее десятилетие армии перейдут к зрелой «автоматизации бизнес-процессов» (что изменит экономику программного обеспечения, как описано в главе 3), радикально сжимая время принятия решений и ускоряя темп войны. Но даже если тактические рои дронов и концепция технологической сингулярности поля боя (рассмотренные в главе 1) полностью изменят конвенциональную войну, удержание человека у ядерной кнопки должно оставаться непреложным законом.
🤖 Экономическая трансформация и институциональные барьеры в эпоху ИИ-войн 57:38
Переход к использованию автономных систем в военных конфликтах фундаментально меняет экономическую модель ведения войны. По словам Пола Шарре, ключевым фактором здесь становится экономика программного обеспечения. В традиционных вооружениях каждый новый самолет или ракетная установка требуют колоссальных затрат на производство, однако перенос когнитивных функций оружия в программный код позволяет изменить этот порядок вещей.
Экономика масштаба программного обеспечения 57:38
Разработка сложного военного ПО может потребовать значительных капиталовложений, однако стоимость тиражирования готового решения стремится к нулю. Это создает уникальную ситуацию: после того как алгоритм создан, его можно масштабировать бесконечно, устанавливая на тысячи недорогих дронов.
- Низкие маржинальные издержки: В отличие от постройки новых боевых кораблей, копирование программного обеспечения для управления роем дронов практически не стоит ресурсов.
- Снижение ценового порога: Автоматизация позволяет заменить дорогостоящие платформы, требующие участия пилота, на массовые и дешевые квадрокоптеры.
- Преимущество малых сил: Этот сдвиг дает относительное преимущество более мелким группам или государствам, которые могут получить значительный военный потенциал за «десятки миллионов долларов», инвестированных в малые беспилотные системы, вместо миллиардов, необходимых для традиционного флота или авиации.
Эта экономическая модель меняет парадигму военного планирования. Если раньше для получения господства в воздухе требовалось покупать дорогостоящие самолеты, то сегодня доступность дешевых «умных» систем позволяет наращивать мощь темпами, недоступными для классических бюрократических структур. Ранее в разговоре они затрагивали темы роевой координации и концепции сингулярности, которые также влияют на эту динамику.
Институциональные барьеры и профессиональная идентичность 1:12:01
Несмотря на очевидные технологические преимущества, реальная интеграция ИИ в вооруженные силы сталкивается с серьезными препятствиями. Шарре отмечает, что главными врагами внедрения новых систем являются не только технические сложности, но и глубоко укоренившиеся бюрократические процессы.
- Бюрократия закупок: Военные ведомства привыкли покупать «железо» по долгосрочным контрактам. Процесс превращения армии в структуру, способную быстро внедрять обновления ПО — как это делает корпоративный сектор, закупающий enterprise-решения, — идет крайне медленно.
- Кризис профессиональной идентичности: Для военнослужащих их роль часто неразрывно связана с конкретной техникой — «танкист», «пилот» или «моряк». Когда технологии начинают выполнять их функции, сама основа их профессиональной деятельности оказывается под угрозой.
- Сопротивление изменениям: Шарре приводит в пример борьбу ВВС США с концепцией дронов, где даже пилоты БПЛА стремятся сохранить атрибуты традиционной летной школы, надевая летные костюмы в кабинах на земле, лишь бы соответствовать привычному образу «летчика».
Подобно тому, как кавалерия стала анахронизмом, военные профессионалы опасаются, что автоматизация сделает их навыки ненужными, что вызывает психологическое и институциональное сопротивление, тормозящее адаптацию армий к новым реалиям.
🤖 Хрупкие алгоритмы и флэш-войны: обратная сторона автономных систем 1:17:34
Иллюзия непогрешимости: ошибки автоматизации и хрупкость ИИ 1:17:34
Внедрение искусственного интеллекта в военную сферу часто преподносится как переход к безупречным операциям, однако реальность куда более тревожна. Пол Шарре обращает внимание на критические уязвимости и специфические «режимы сбоя» автономных систем. Главная проблема современного ИИ заключается в его фундаментальной хрупкости: нейросети демонстрируют феноменальные результаты в жестко заданных симуляциях, но оказываются абсолютно беспомощными, когда сталкиваются с изменением условий реального мира или намеренным обманом со стороны противника.
Этот феномен тесно связан с так называемым эффектом избыточного доверия к автоматизации (automation bias). Военные и операторы склонны подсознательно переоценивать объективность машин, слепо предполагая, что алгоритм всегда действует правильно. Шарре проводит параллель с поведением современных больших языковых моделей (LLM), которые регулярно сталкиваются с проблемой «галлюцинаций» — генерации убедительно выглядящей, но полностью ложной информации. В боевых условиях подобная слепая вера может обернуться катастрофой. Систему можно всесторонне протестировать в мирное время и получить отличные показатели, но реальные боевые действия неизбежно создадут сценарии, не предусмотренные разработчиками. В результате непредвиденные алгоритмические ошибки накладываются на психологию людей, приводя к масштабным стратегическим просчетам.
Неуправляемый маховик: риски случайной эскалации 1:21:11
Особую опасность представляет потенциал случайной, неконтролируемой эскалации конфликтов из-за непредсказуемого поведения автономных платформ. Пол Шарре отмечает, что в условиях локальных инцидентов, когда корабли или авиация противоборствующих сторон маневрируют в непосредственной близости друг от друга, неожиданное действие машины может запустить необратимую цепную реакцию. Международные инциденты, когда техника ведет себя неожиданно для собственного командования, происходили и раньше, но автоматизация выводит эту угрозу на новый уровень.
В качестве иллюстрации эксперт приводит гипотетический сценарий на высшем геополитическом уровне. К примеру, Владимир Путин, тщательно выверяющий шаги по эскалации в противостоянии с НАТО, осуществляет глубоко обдуманные политические и военные жесты. Однако если в этот процесс вовлекаются автономные дроны, они могут совершить атаку или опасный маневр чисто случайно, в результате системного бага или неверной интерпретации среды. Противник же неизбежно воспримет этот шаг как намеренную и спланированную агрессию. Шарре приводит характерный пример гипотетической ошибки позиционирования: автономный комплекс из-за сбоя паркуется рядом с госпиталем, что мгновенно провоцирует международный кризис и обвинения в военных преступлениях.
Автоматизация ударов приводит к тому, что человеческое руководство теряет оперативную связь с происходящим на поле боя. Возникает «скользкий склон» к полномасштабной войне, когда ни одна из сторон не понимает истинных причин первоначального инцидента. Скорость принятия решений машинами исключает человеческую рефлексию, резко увеличивая вероятность фатального просчета.
Цифровой Левиафан: концентрация власти и манипуляции 1:26:06
Влияние искусственного интеллекта выходит далеко за рамки сугубо военных задач, трансформируя сами механизмы удержания власти. Луиза Родригес и Пол Шарре обсуждают мрачную перспективу: что произойдет, если высокоэффективные системы ИИ окажутся в руках авторитарных правителей? Исторически любые диктаторские режимы всегда нуждались в лояльности определенных крупных групп населения для сохранения контроля.
Традиционно диктаторам приходилось опираться на поддержку:
- Этнических меньшинств или конкретных кланов, обеспечивающих баланс сил;
- Армейского командования, спецслужб и полицейского аппарата;
- Ключевых политических или экономических элит.
Необходимость покупать и удерживать лояльность этих людей создавала естественный ограничитель для тирании. Автоматизация систем управления и силового аппарата коренным образом меняет это уравнение. Правителям больше не нужно опираться на большие группы граждан — автономные машины не бастуют, не испытывают моральных сомнений и не могут перейти на сторону протестующих. Это полностью лишает общество традиционных инструментов сопротивления и автономии.
Параллельно с этим ИИ открывает беспрецедентные возможности для скрытой манипуляции через киберпространство. Алгоритмы современных информационных платформ способны незаметно и тонко формировать общественное мнение. Главная угроза здесь — абсолютная непрозрачность: сегодня даже сами создатели моделей зачастую не знают, какие именно скрытые паттерны заставляют систему генерировать или продвигать тот или иной контент. Шарре выражает глубокую озабоченность не столько гипотетическими апокалиптическими сценариями, сколько вполне реальной политической дестабилизацией, вызванной алгоритмическим искажением информации. В современном мире все социальные институты находятся ниже по течению от информационных потоков. Автоматизация позволяет осуществлять манипуляции и удерживать власть методами, превосходящими классические военные перевороты XX века по своей незаметности и эффективности.
Масштаб уязвимости современных государств подтверждается регулярными утечками колоссальных массивов данных. Шарре напоминает об инцидентах со сливом секретных документов Пентагона, а также о недавней масштабной атаке китайских хакеров на телекоммуникационные системы США. С развитием ИИ объемы личной и государственной информации, циркулирующей в цифровой среде, будут только расти, делая общество еще более беззащитным перед целенаправленными манипуляциями.
Двуликая точность автономного оружия 1:33:54
Впрочем, Пол Шарре признает, что у автоматизации есть и сильные аргументы. Теоретически ИИ способен снизить количество военных преступлений и сопутствующих жертв среди гражданского населения благодаря своей феноменальной точности, подобно тому как автоматика снижает аварийность на дорогах. Исторический экскурс показывает, что во время Второй мировой войны государства были вынуждены прибегать к ковровым бомбардировкам целых городов из-за технической невозможности точечно поразить промышленную инфраструктуру. Сегодня же высокоточное оружие позволяет наносить удары исключительно по конкретным военным объектам.
Тем не менее, этот технологический прогресс порождает этическую дилемму, которая сейчас активно обсуждается в США. Шарре признается, что общие тренды развития его не радуют. Повышая точность отдельного удара, автоматизация одновременно подрывает способность контролировать общую эскалацию конфликта, лишая людей возможности взять паузу и осмыслить ситуацию. Проектируя будущее, где машины воюют вместо людей, демократическое общество должно осознавать: замена человеческого страха и сомнений холодным расчетом алгоритмов может сделать войну слишком легким решением для политиков. Прогресс ИИ в этой сфере движется колоссальными темпами, опережая все первоначальные ожидания экспертов.
☣️ Невидимые фронты: Алгоритмическое биооружие и неизбежность автономных кибервойн 1:41:18
Синтетическая биология и ИИ: Демократизация экстремального насилия 1:41:18
Пересечение технологий искусственного интеллекта и синтетической биологии открывает одну из самых пугающих перспектив современной международной безопасности. Как отмечает эксперт Центра новой американской безопасности (CNAS) Пол Шарр, высокие темпы развития в этой сфере продолжают его удивлять. Главная опасность здесь кроется в радикальной демократизации насилия экстремальных масштабов.
Использование ИИ для проектирования принципиально новых, гораздо более мощных патогенов кардинально меняет правила игры. Если раньше создание биологического оружия требовало передовых государственных лабораторий, огромных бюджетов и секретных институтов, то сегодня генеративные модели стремительно размывают эти барьеры. Возможность того, что относительно небольшая группа экстремистов получит доступ к цифровым инструментам для конструирования смертоносных вирусов, превращает гипотетические риски в экзистенциальную угрозу. Шарр подчеркивает, что человечество опасно приближается к невидимой черте, за которую лучше не переступать, чтобы не узнавать последствия экспериментальным путем. Ранее в разговоре они уже касались рисков случайной эскалации конфликтов, однако в сфере биоугроз ситуация усугубляется тем, что потенциальному агрессору больше не нужны ресурсы сверхдержавы.
Киберпространство как первый театр тотальной автоматизации 1:42:57
Параллельно с биологическими рисками разворачивается стремительная цифровизация физического мира, которая обнажает новые критические уязвимости. По мере того как под управление компьютерных систем переходят водоочистные сооружения и глобальные информационные сети, поле для потенциальных катастроф только расширяется. Эти долгосрочные тренды вызывают глубокую тревогу у оборонных стратегов. Именно киберпространство станет первой сферой, где человек полностью передаст контроль машинам.
Ключевым фактором выступает скорость операций. В отличие от традиционных боевых действий, где процессы развертывания занимают часы или дни, кибератаки и меры противодействия происходят в течение долей секунды. Человеческий мозг физически не способен обрабатывать информацию и принимать решения в таких временных масштабах. В то время как официальный Вашингтон демонстрирует полную готовность интегрировать ИИ в системы национальной обороны, суровая реальность киберсферы показывает: удержание человека в контуре управления становится технически невозможным. Автоматизация здесь превращается из технологического преимущества в жесткое условие выживания.
Эволюция вредоносного ПО: От Stuxnet до мыслящих вирусов 1:49:14
Автоматизация в киберсфере применяется достаточно давно, и самовоспроизводящиеся деструктивные программы не являются открытием сегодняшнего дня. Классическим примером служит знаменитый червь Stuxnet, который успешно использовался для вывода из строя иранских центрифуг и саботажа ядерной программы страны. Однако появление продвинутых систем ИИ выводит эту угрозу на принципиально иной уровень.
На смену статичным алгоритмам прошлого приходит принципиально новое — интеллектуальное и адаптивное вредоносное ПО. Перспективные нейросетевые модели способны самостоятельно проводить логический анализ, оценивать структуру сетей и на ходу писать код для обхода защитных барьеров. Пол Шарр описывает несколько сценариев, которые вызывают наибольшую тревогу у специалистов:
- Способность вредоносного ПО самостоятельно находить и захватывать чужие вычислительные ресурсы для собственного размножения.
- Возможность вируса переписывать свои первоначальные цели, заложенные создателем, подстраиваясь под изменения среды.
- Создание непрерывно эволюционирующей цифровой угрозы, меняющей свои свойства прямо в процессе атаки.
Такой «мыслящий вирус» фактически превращается в автономного агента на просторах Интернета. Его поведение и конечные цели становятся непредсказуемыми даже для тех, кто изначально запустил эту программу.
Битва щита и меча: Кто победит в алгоритмической киберобороне? 1:54:13
Вопрос о том, кому развитие ИИ даст больше преимуществ — атакующей или обороняющейся стороне — остается предметом ожесточенных дискуссий в экспертном сообществе. С одной стороны, автоматизация способна кратно усилить защиту: алгоритмы могут сканировать миллионы строк кода, мгновенно обнаруживая и закрывая уязвимости до того, как ими воспользуются злоумышленники.
Тем не менее, реальный баланс сил пока смещается в пользу атакующих. Шарр сравнивает кибероборону со строительством бесконечных крепостных стен, петляющих по холмам: защитникам необходимо удерживать каждый метр, в то время как атакующей стороне достаточно найти одну-единственную незащищенную точку, чтобы проникнуть внутрь системы. Ситуация существенно осложняется системными факторами:
- Пользователи и администраторы регулярно забывают своевременно обновлять свои сети и закрывать известные дыры в безопасности.
- По мере улучшения навыков написания кода у ИИ, объемы программного обеспечения растут лавинообразно, что экспоненциально увеличивает количество потенциальных уязвимостей.
- Человек по-прежнему остается самым слабым звеном в любой архитектуре безопасности сетей.
Реальность этих угроз подтверждается практическими примерами — такими как масштабные кибератаки со стороны России, наглядно продемонстрировавшие уязвимость ключевой гражданской и военной инфраструктуры. Переход к полностью автономным системам сдерживания в цифровой среде становится единственным логичным ответом на эти вызовы, неизбежно запуская экспоненциальный рост масштабов будущих киберконфликтов.
🇨🇳 Сверхдержавы ИИ: за пределами гонки вооружений 2:11:33
Современное противостояние США и Китая в области искусственного интеллекта часто называют «гонкой вооружений», однако Пол Шарре предлагает более тонкую интерпретацию этого процесса. С академической точки зрения, классическая гонка вооружений характеризуется аномально высокими расходами на оборону — например, до 40% ВВП. В текущей же ситуации обе сверхдержавы тратят на эти цели около 1%.
Это не столько количественное соревнование, сколько состязание за скорость и эффективность организационного внедрения технологий. В этой борьбе за доминирование обе стороны имеют доступ к примерно одинаковому уровню базовых технологий, но решающим фактором становится то, как именно эти технологии интегрируются в государственные и военные структуры.
Организационное внедрение как новый фронт 2:13:40
Шарре сравнивает текущий этап развития ИИ с Промышленной революцией. В ту эпоху преимущество получали не те страны, которые первыми изобрели паровой двигатель, а те, кто смог перестроить свою экономику вокруг угля и стали. В контексте ИИ конкурентное преимущество складывается из четырех ключевых компонентов: данные, вычислительные мощности, таланты и институциональная готовность к изменениям.
- Данные: Китай часто называют «Саудовской Аравией данных» из-за тотального сбора информации о гражданах. Однако Шарре сомневается, что это дает решающее преимущество в военной сфере. Американские законы о конфиденциальности ограничивают сбор данных о гражданских лицах, но это мало влияет на способность Пентагона собирать данные с датчиков на поле боя.
- Вычислительные мощности: Здесь у США есть явное преимущество благодаря Nvidia и контролю над дизайном самых передовых чипов. Однако производство сосредоточено на заводах TSMC в Тайване, который Китай намерен поглотить к 2049 году. Ранее в разговоре участники касались рисков случайной эскалации, и вопрос Тайваня остается одним из самых опасных триггеров.
- Таланты: Китай выпускает больше инженеров и специалистов по STEM, но США обладают уникальной способностью притягивать лучшие умы со всего мира. Ведущие китайские ученые часто предпочитают работать в американских институтах и компаниях.
Техноавторитаризм: ИИ на службе диктатуры 2:25:50
Если в США ИИ рассматривается как инструмент повышения эффективности, то для Коммунистической партии Китая (КПК) это прежде всего инструмент выживания режима. КПК создала «депрессивно эффективную» систему цифровой слежки, направленную на подавление любого инакомыслия. Эта система уже прошла испытание на уйгурском населении Синьцзяна, где технологии превратили жизнь людей в подобие домашнего ареста под открытым небом.
Китай внедрил беспрецедентный уровень визуального контроля: камеры с распознаванием лиц установлены практически на каждом углу. Шарре приводит в пример площадь Тяньаньмэнь: если в 1989 году протесты могли застать власть врасплох, то современные алгоритмы способны выявлять потенциальных лидеров и пресекать организацию масс еще до того, как они соберутся в значимую группу.
Цифровая дистопия и социальный кредит 2:29:05
Система социального кредита в Китае объединяет финансовую историю граждан с данными об их политической лояльности и повседневном поведении. Технологии позволяют правительству осуществлять «высокоточное подавление»:
- Сбор данных: Использование биометрии и данных из социальных сетей для создания цифрового профиля каждого гражданина.
- Пропаганда и цензура: ИИ-алгоритмы не только фильтруют информацию, но и активно продвигают партийную повестку, создавая иллюзию тотального единодушия.
- Физические ограничения: Технологии позволяют автоматически блокировать доступ к транспорту или общественным услугам для тех, кто помечен системой как «неблагонадежный».
Шарре подчеркивает, что эта система не просто наказывает за нарушения, она меняет поведение людей через постоянное ощущение надзора. Это создает общество, где протест становится технически невозможным, что является заветной мечтой любого авторитарного лидера. Хотя ранее обсуждалась хрупкость ИИ-систем, в вопросах внутреннего контроля КПК делает ставку на избыточность и повсеместность этих технологий.
🛡️ Прагматичное регулирование и защита человечности на поле боя 2:31:33
Границы возможного: почему глобальный запрет автономного оружия утопичен 2:31:33
Полный глобальный запрет на автономное оружие сегодня выглядит абсолютно нереалистичным сценарием, учитывая жесткие геополитические реалии. Вместо попыток навязать международному сообществу всеобъемлющие и неисполнимые табу, международным экспертам и военным стратегам следует сосредоточить усилия на более узких, точечных и прагматичных соглашениях. Пол Шарре указывает, что государства ни за что не откажутся от боевых систем, классифицируемых военными как «anti-materiel» (автономное оружие, нацеленное на уничтожение техники). Например, использование автономного роя дронов для подавления вражеских радаров или систем ПВО имеет колоссальную военную ценность, и пытаться поставить такие технологии вне закона бессмысленно.
Основное внимание регулирования должно быть сфокусировано на противопехотных автономных системах. Опыт современных конфликтов, включая масштабы применения беспилотников в Украине, наглядно демонстрирует пугающую и опасную перспективу: использование ИИ-дронов для целенаправленной охоты за конкретными людьми. Проблема носит не просто этический характер. Алгоритмы принципиально неспособны адекватно обрабатывать сложные, динамические гуманитарные сценарии на поле боя — они не могут распознать, что раненый солдат пытается сдаться в плен, и легко совершают фатальные ошибки из-за хрупкости своего программного обеспечения. Ситуация, когда государства начнут развертывать автономные платформы, принимающие решения об убийстве на основе сомнительных данных или профилей в социальных сетях, грозит обернуться катастрофой.
Ранее в разговоре собеседники подробно разбирали риски случайной эскалации конфликтов, и именно для минимизации таких катастрофических сценариев необходим переход к реальным межгосударственным «правилам дорожного движения». Успешным историческим прецедентом здесь выступает соглашение «Incidents at Sea» (О предотвращении инцидентов в открытом море), заключенное между США и СССР на пике Холодной войны. Этот документ не решал глубинных политических или идеологических противоречий сверхдержав, но он эффективно установил рамки поведения, снизив риски опасного балансирования на грани войны. Подобный прагматичный подход применим и сегодня. США могут взять на себя инициативу в формулировании и продвижении жестких односторонних норм использования ИИ, которые полностью соответствуют Женевским конвенциям, тем самым побуждая другие страны следовать этому юридическому примеру.
Для обеспечения безопасности и подотчетности военных ИИ-систем эксперты предлагают внедрить следующий комплекс обязательных инженерных и правовых ограничений:
-
Требования к объяснимости (Explainability): Любая нейросеть, внедряемая в контур принятия решений, должна быть прозрачной для аудита, чтобы военные четко понимали логику ее действий.
-
Человеческие аварийные выключатели (Human circuit breakers): Интеграция технологических лимитов, которые автоматически блокируют работу системы до тех пор, пока в ситуацию не вмешаются люди-операторы.
-
Принцип двойного феномена (Dual phenomenology): Обязательное использование независимых технологических каналов (например, одновременная верификация целей через радары и тепловизоры) в системах раннего предупреждения для исключения ложных тревог.
Разработка и соблюдение таких строгих протоколов аудита внутри оборонных ведомств позволит создать предсказуемые рамки применения технологий еще до того, как они превратятся в масштабные многосторонние договоры.
Взгляд из окопа: почему алгоритмы никогда не заменят человеческое суждение 2:43:49
Обсуждение технических защитных механизмов неизбежно возвращает нас к фундаментальной дилемме — критической важности контекстуального суждения человека, которую участники беседы затрагивали на протяжении всего интервью. Ни один самый продвинутый алгоритм распознавания образов или компьютерного зрения не обладает гибкостью живого человеческого восприятия, способного мгновенно считывать тончайшие социально-поведенческие нюансы в условиях хаоса реального боя. Пол Шарре иллюстрирует этот тезис ярким и глубоко личным примером из своего боевого опыта, когда его подразделение выполняло спецоперацию, действуя непосредственно среди местного населения.
Во время патрулирования американские военные заметили на расстоянии человека, чьи намерения, статус и потенциальная опасность оставались абсолютно неясными. В какой-то момент бойцы потеряли объект из виду, что усилило напряжение. Шарре занял позицию на возвышении, чтобы сверху вести наблюдение за подозрительным мужчиной и при необходимости скоординировать действия команды. На тот момент у него было крайне мало информации, а по рации он мог лишь скомандовать «стой». В аналогичной ситуации стандартные алгоритмы автономного оружия, натренированные на выявление комбатантов по сухим силуэтам или геопозиции, с высокой вероятностью идентифицировали бы цель как врага и нанесли бы упреждающий удар.
Однако то, что Шарре увидел через оптический прицел, полностью ломало привычную сухую логику войны: мужчина шел, громко пел песни и искренне наслаждался красивым видом. Для вражеского бойца, готовящего засаду или ведущего разведку, такое поведение было бы абсолютно абсурдным и противоестественным. Шарре мгновенно взвесил эти факторы, считал уникальный поведенческий контекст и принял решение не стрелять. В масштабах всей войны это локальное решение командира могло показаться крошечным эпизодом, но именно из таких решений складывается понимание главных ставок в дискуссии об автономном оружии. Присутствие человека необходимо на поле боя прежде всего для того, чтобы в погоне за автоматизацией человечество окончательно не потеряло свою гуманность.
