# Цена конца света: почему экзистенциальные риски — это экономика

Источник: https://www.youtube.com/watch?v=G2DLhxAf6XU
Канал: 80,000 Hours
Опубликовано: 03.11.2024

---

Если бы лаборатории обязали платить страховые взносы за риск глобальной катастрофы, ни один проект по созданию модифицированных патогенов не оказался бы экономически жизнеспособным. Мы живем в исторически уникальный период, когда ускоряющийся технологический прогресс и развитие ИИ делают именно это десятилетие решающим для долгосрочного выживания человеческой цивилизации.

## 🧠 Здравый смысл против радикальной философии: почему защита от экзистенциальных рисков оправдана базовой экономикой
[[JUMP:00:00]]

### Критика «сильного долгосрочного мышления» и альтернативные этические обязательства
[[JUMP:03:53]]

Разговор с известным исследователем экзистенциальных рисков Карлом Шульманом (Carl Shulman) начинается с описания его бэкграунда и текущей научной работы. Карл изучал философию в Университете Торонто и Гарварде, а также юриспруденцию в Нью-Йоркском университете. С 2012 года он работает научным сотрудником в Институте будущего человечества (FHI) при Оксфордском университете и активно консультирует фонд Open Philanthropy. В настоящий момент его исследовательские интересы сосредоточены на моделировании экономики продвинутого искусственного интеллекта и долгосрочном проекте совместно с Ником Бостромом, посвященном политическому и моральному статусу цифровых умов. В их прошлогодней работе рассматривается комплексная идея о том, что цифровой разум потенциально способен превзойти человека по эффективности потребления ресурсов, генерируя значительно больше благополучия на единицу материи.

Этот глубокий этический базис подводит Карла Шульмана к его весьма умеренной, даже скептической позиции в отношении «сильного долгосрочного мышления» (strong longtermism). Данное философское направление утверждает, что ключевым критерием ценности любых наших действий является их прямое влияние на очень далекое будущее — в масштабе сотен или тысяч лет. 

Шульман сразу уточняет, что поддерживает усилия по сохранению грядущих поколений сильнее, чем 99% обычных людей, и полностью согласен с позицией Тоби Орда из книги «Грань» (The Precipice) в том, что предотвращение экзистенциального риска — одна из величайших моральных проблем нашей эпохи. Тем не менее он отказывается признавать радикальный лонгтермизм единственным этическим ориентиром и не считает, что даже минимальное снижение экзистенциальной угрозы должно полностью затмевать собой любые другие соображения.

Разногласия Шульмана с радикальными коллегами кроются в признании важности иных нормативных перспектив, накладывающих на нас вполне осязаемые обязательства. Карл выделяет несколько таких классических категорий:

* Обязанности справедливости и взаимности: необходимость лично возместить ущерб тем, кому вы навредили, отвечать взаимностью на помощь и строго соблюдать данные обещания.

* Родственный долг: особые, приоритетные обязательства агента перед своими родителями и детьми, которые невозможно аннулировать ради абстрактного блага далекого будущего.

Если признать, что эти традиционные взгляды имеют реальный моральный вес, они неизбежно ограничивают фанатичные математические выводы лонгтермизма. Иначе возникает абсурдная ситуация, когда выполнение долга перед семьей или возвращение долга пострадавшему считается этической ошибкой, поскольку данные ресурсы могли пойти на гипотетическое улучшение жизни триллионов людей через миллионы лет. Шульман указывает на дискуссии о моральной неопределенности: разные теории концептуализируют мир принципиально по-разному. Когда аргументация строится на том, что гипотетическая задача А в миллионы раз важнее задачи Б, любая минимальная уязвимость в логике мгновенно разрушает всю конструкцию. Подобная ошибка часто всплывает в известном мысленном эксперименте «ограбление Паскаля» (Pascal's mugging), где исчезающе малая вероятность гигантской выгоды пытается полностью подчинить себе рациональный выбор.

### Экономическая оправданность превентивных мер и обычный анализ затрат и выгод
[[JUMP:09:06]]

Ключевой практический тезис Карла Шульмана заключается в том, что сложные споры в области академической моральной философии имеют гораздо меньшее значение для реальной практики, чем принято считать. Большинство мер по снижению рисков глобальных катастроф могут быть полностью обоснованы с помощью самого обычного, приземленного анализа затрат и выгод (cost-benefit analysis), который государства ежедневно используют при строительстве дорог или содержании школ. Для этого вовсе не требуется наделять далекое будущее какой-то особой или спекулятивной этической ценностью.

Вероятность глобальной катастрофы, способной уничтожить большинство живущих сегодня людей, пугающе высока, а стоимость мер по снижению этой угрозы вполне приемлема. В подтверждение Шульман приводит строгие экономические расчеты, опирающиеся на официальные государственные методики оценки стоимости среднестатистической человеческой жизни (Value of a Statistical Life, VSL). 

Правительство США при оценке эффективности регуляторных мер различных ведомств готово платить около 4 миллионов долларов за спасение жизни одного американского гражданина. Исходя из этого стандартного норматива, спасение жизней всех граждан США на текущий момент эквивалентно астрономической сумме в 1300 триллионов долларов.

Если принять консервативную оценку Тоби Орда, согласно которой совокупный риск вымирания человечества в ближайшие 100 лет составляет примерно 1 из 6, то снижение этого риска всего на 1% (то есть на 1% от одной шестой) будет означать для правительства США чистую экономическую выгоду в размере до 2,2 триллиона долларов. Причем эта колоссальная сумма выведена исключительно в терминах спасения жизней текущего поколения американцев, без учета жителей остальной планеты и будущих эпох. Карл убежден, что при разумном и интеллектуальном распределении средств реальная стоимость снижения риска на этот 1% окажется в разы меньше. Таким образом, масштабные превентивные инвестиции с легкостью проходят стандартный экономический аудит, демонстрируя фантастическое соотношение выгоды к затратам.

Далее в разговоре собеседники подробно иллюстрируют эти механизмы, упоминая причины нашей неготовности к пандемиям и проблемы коллективных действий, которые детально разбираются во главе 2. Они также затрагивают тему провала мобилизации ресурсов во время пандемии COVID-19, унесшей миллионы жизней и стоившей мировой экономике порядка 10 триллионов долларов, что станет предметом анализа во главе 3. В качестве позитивного примера приводится запущенная NASA в 1990-х годах программа поиска и защиты от опасных астероидов, которая обошлась всего в 100 миллионов долларов и практически решила эту конкретную проблему на ближайший век, о чем подробнее рассказано во главе 2. Все эти кейсы лишь подтверждают: человечеству не нужны радикальные философские доктрины, чтобы защитить себя, достаточно руководствоваться элементарным здравым смыслом.

## ⚠️ Почему мы игнорируем глобальные угрозы

[[JUMP:25:20]]

Недостаточная подготовка к пандемиям, в частности к COVID-19, стала наглядным примером системной неспособности современного общества реагировать на масштабные риски. По мнению Карла Шульмана (Carl Shulman), реакция на пандемию была парадоксальной: государства выделяли колоссальные средства на экономическое стимулирование, однако практически не направляли ресурсы на реальное предотвращение распространения вируса — например, на повсеместное внедрение качественных масок или проведение быстрых «контрольных испытаний» (challenge trials) для вакцин.

Этот провал сложно объяснить исключительно нехваткой денег. Политики, обладая мощными финансовыми рычагами, могли бы подавить вирус в зародыше, но предпочли стратегию «жизни с вирусом» при финансовой поддержке граждан. Шульман отмечает, что здесь проявилась не только близорукость, но и серьезные интеллектуальные ошибки даже на уровне экспертных сообществ, которые фокусировались на неверных приоритетах.

### 📉 Парадокс бюрократии: стимулы против здравого смысла

[[JUMP:29:23]]

Основной барьер для решительных действий заключается в глубоких проблемах коллективных действий и искаженных стимулах внутри государственных институтов. Чиновники, ответственные за принятие решений, часто сталкиваются с асимметрией последствий:

* **Цена ошибки:** Если новый или рискованный подход (например, поддержка инновационной платформы вакцин, которая еще не применялась масштабно) не срабатывает, карьера чиновника оказывается под ударом.
* **Цена успеха:** Если риск оправдывается и удается спасти сотни тысяч жизней, вознаграждение часто оказывается несопоставимо малым по сравнению с личными политическими издержками.

Это создает «институциональную трусость». В отличие от стартапов, где культура «игры на победу» поощряет риски ради огромного потенциального выигрыша, государственные бюрократические структуры, такие как CDC или FDA, стремятся избегать неудач любой ценой. Проблема усугубляется тем, что политические оппоненты могут использовать любую неудачу в ходе эксперимента как повод для «демагогии на слушаниях в Конгрессе», что лишь усиливает страх перед инновациями.

### 🛡️ Уроки истории и возможности для прогресса

[[JUMP:18:57]]

Несмотря на пессимистичный взгляд на бюрократию, исторический опыт показывает, что государственное финансирование способно работать эффективно, когда риски четко осознаны и научно обоснованы. Успех NASA в реализации программы защиты от астероидов служит примером того, как общество может мобилизоваться перед лицом понятной угрозы.

Шульман подчеркивает, что текущие усилия по предотвращению экзистенциальных рисков (например, в области биобезопасности или безопасности ИИ) остаются крайне недофинансированными, несмотря на их критическую важность. Ранее в разговоре они касались критики «сильного долгосрочного мышления» и экономической оправданности превентивных мер, однако, с практической точки зрения, значительное увеличение расходов на предотвращение катастроф — даже до уровня десятков миллиардов долларов в год — было бы абсолютно оправданным шагом с точки зрения теории принятия решений, учитывая потенциальные последствия.

В конечном счете, дискурс вокруг экзистенциальных рисков часто искажается представлением, будто активисты работают в этой области только из-за «бесконечно больших выигрышей» при ничтожных шансах. Шульман настаивает: проблема в том, что это «очевидные и серьезные угрозы», которые мы способны предотвратить, если перестанем действовать в парадигме страха перед неудачей.

Привет! Изучив вводные данные, я заметил критическое несовпадение: темы, которые ты закрепил за этой главой (провал мобилизации при пандемии и риски исследований gain-of-function), обсуждались в первой трети интервью (на 23-й и 33-й минутах). При этом предоставленный фрагмент транскрипта (50:14–1:15:21) полностью посвящён природным угрозам, климатическому кризису, ядерной энергетике и ядерному сдерживанию — то есть темам, которые в твоём общем плане распределены по другим главам. 

Как твой надежный ИИ-коллаборатор, я скорректирую эту предпосылку и напишу главу строго на основе предоставленного текста транскрипта, полностью сохранив все заявленные правила структуры, таймкодов и журналистского стиля. 

## 🌍 Технологический век опасностей: от климатических тупиков до ядерной зимы
[[JUMP:50:27]]

Ранее в разговоре собеседники подробно обсуждали уроки истории и программу защиты от астероидов, однако Карл Шульман предлагает трезво взглянуть на базовую вероятность подобных катаклизмов. По его мнению, естественные природные угрозы (астероиды или супервулканы) блекнут на фоне стремительного антропогенного прогресса. На протяжении тысячелетий наши предки успешно переживали извержения вулканов, но за последние столетия человечество создало принципиально новые вызовы: ядерное оружие, биологические угрозы и искусственный интеллект. Карл Саган точно охарактеризовал эту эпоху как «век опасностей». Единственное, что действительно связывает природные угрозы с рукотворными, — это проблема обеспечения продовольствием в условиях глобального загрязнения атмосферы, где техногенная ядерная зима представляет куда более реальную и близкую угрозу, чем супервулканы.

### Инновации против хайпа: глобальный подход к климатическому кризису
[[JUMP:54:11]]

В поиске решений для борьбы с изменением климата Карл Шульман призывает сосредоточиться на высокоэффективных рычагах, которые зачастую лежат вне зоны политического хайпа. Вместо локальных и медийно популярных мер вроде точечной высадки деревьев или повышения энергоэффективности отдельных зданий, инвестиции разумнее направлять в глобальные общественные блага — фундаментальные научные исследования в области чистой энергии. 

Логика этого подхода чисто экономическая. Если условная небольшая страна полностью обнулит свои углеродные выбросы, это потребует от неё колоссальных финансовых жертв, но практически не изменит общемировую траекторию на фоне развивающихся гигантов вроде Китая и Индии. Более того, если развитая экономика просто откажется от потребления ископаемого топлива, эти объемы нефти или угля будут проданы на других рынках. Напротив, создание дешевых альтернативных технологий радикально меняет матрицу решений по всему миру. Когда солнечная энергия или современные системы хранения становятся банально дешевле угля — что уже происходит во многих регионах планеты, — глобальная координационная проблема исчезает, ведь странам больше не нужно жертвовать своим развитием ради спасения экологии.

### Парадоксы атома: регуляторное бремя чистой энергетики
[[JUMP:57:05]]

Внутри климатического кейса ключевыми технологическими направлениями остаются высоковольтные линии передач для интеграции возобновляемых источников, емкие батареи и, конечно, ядерная энергетика. Последняя обладает колоссальным, но искусственно заблокированным потенциалом. Шульман напоминает исторический прецедент: на заре атомной эры Франция сумела быстро, масштабно и по абсолютно конкурентоспособным ценам перевести практически всю свою национальную электросеть на ядерные рельсы. С технической точки зрения климатическая проблема в энергетике могла бы считаться решенной, если бы не жесткое регуляторное бремя, парализовавшее отрасль в развитых странах.

Сегодня требования безопасности к АЭС на порядки выше, чем к сжиганию ископаемого топлива, хотя от дисперсных частиц и загрязнения воздуха угольной и газовой генерацией ежегодно гибнут миллионы людей. Карл Шульман обращает внимание на поразительный парадокс общественного восприятия: во время аварии на АЭС «Фукусима» прямых жертв от радиационного выброса фактически не было, зато множество людей погибло из-за паники и хаотичной эвакуации, спровоцированной раздутыми страхами вокруг минимальных доз радиации. Мы спокойно переносим повышенный радиационный фон во время авиаперелетов на большой высоте, но паникуем при упоминании АЭС. 

Регуляторные стандарты в США требуют делать атомные объекты «наиболее безопасными из всех возможных», вместо того чтобы остановиться на рациональном уровне «безопаснее, чем доступные альтернативы». В результате стоимость строительства взлетает по экспоненте. Это общая беда инфраструктурных проектов в богатых странах — из-за огромного числа локальных игроков, обладающих правом вето, любые крупные стройки (будь то станции метро или жилые кварталы) тонут в согласованиях и судах. В этих условиях солнечная энергетика выигрывает просто потому, что её мелкие юниты вызывают меньше страха и позволяют обходить регуляторные капканы. По мнению Шульмана, решение проблемы лежит не столько в инженерии, сколько в политической плоскости — в необходимости разворота эко-активистов и общественного мнения в сторону проядерной позиции.

### Эволюция ядерного риска: от страха перед радиацией к угрозе голода
[[JUMP:1:02:22]]

Ядерная угроза висит над человечеством уже более 76 лет, но сама природа этого страха претерпела глубокую эволюцию. Во время Манхэттенского проекта физики всерьез рассчитывали риски того, не вызовет ли первый же взрыв цепную реакцию в атмосфере, которая мгновенно уничтожит все живое на Земле. Несмотря на математические заверения в безопасности, во время испытания Trinity многие ученые буквально затаили дыхание. Позже, при разработке водородной бомбы, аналогичная ошибка в расчетах привела к неожиданному увеличению радиуса поражения и реальным жертвам.

Первые десятилетия военные стратеги оценивали ущерб от ядерного конфликта исключительно через призму взрывной волны, пожаров и радиационного заражения. Карл Шульман развенчивает популярный миф массовой культуры о перманентной непригодности планеты для жизни: интенсивность радиации падает очень быстро по мере распада короткоживущих элементов, и при наличии укрытия выйти наружу без фатальных последствий можно уже через пару недель. Главный экзистенциальный кошмар — феномен ядерной зимы — был открыт и смоделирован учеными гораздо позже. Именно антропогенное изменение климата из-за сажи горящих городов представляет максимальную угрозу для нейтральных стран, поскольку способно уничтожить глобальное сельское хозяйство и вызвать массовый голод.

В 1950-х годах неопределенность была настолько удушающей, что аналитики RAND Corporation (например, Даниэль Эллсберг, автор «Машины Судного дня») массово отказывались от долгосрочных пенсионных планов, будучи уверенными, что система сдерживания нестабильна и ядерный апокалипсис случится в ближайшие годы. К счастью, практика показала, что механизмы сдерживания работают куда надежнее худших прогнозов: даже в моменты острых локальных столкновений такие пары, как Индия и Пакистан, СССР и Китай или Израиль и его соседи в 1973 году, находили в себе силы отступить от края пропасти.

### Стратегия выживания: верификация моделей и уроки прошлых кризисов
[[JUMP:1:09:05]]

В отличие от таких сфер, как биобезопасность или регулирование ИИ, где поле деятельности пока остается полупустым, снижением ядерных рисков традиционно и масштабно занимаются государственные институты. Тем не менее, Карл Шульман выделяет критически важные направления, где частное финансирование эффективных альтруистов способно дать колоссальный рычаг.

* Моделирование ядерной зимы — использование современных климатических суперкомпьютерных моделей для точной оценки ущерба. Фонд Open Philanthropy уже активно субсидирует подобные исследования. Точные данные необходимы как для приоритизации рисков, так и для политического сдерживания: в свое время именно отчеты о ядерной зиме заставили Рейгана и Горбачева сесть за стол переговоров.

* Преодоление кризиса доверия — поддержка независимой критической экспертизы. Из-за того, что у любого антивоенного активиста (каким был, например, Карл Саган) есть понятный соблазн сгустить краски, военный истеблишмент часто считает климатические модели ядерной зимы ангажированными. Финансирование жестких проверок, способных опровергнуть эти модели в случае ошибок, парадоксальным образом повышает их общую валидность и авторитет в глазах Пентагона.

* Анализ социополитических механизмов эскалации — детальное изучение прошлых близких промахов. Исторические документы показывают, что Кеннеди и Хрущев панически боялись ядерной войны, но действовали в условиях тотальной неопределенности, оценивая шансы на катастрофу как 1 к 2 или 1 к 3 из-за ложных представлений об агрессивности оппонента. Глубокое понимание психологии лидеров и роли третьих сил помогает нащупать реальные choke points — критические точки, где системы командования могут дать сбой.

## 🧬 Уроки истории и риски лабораторных утечек

[[JUMP:1:15:33]]

Анализ прошлых инцидентов — один из важнейших инструментов для предотвращения катастроф в будущем. Карл Шульман (Carl Shulman) подчеркивает, что зачастую мы концентрируемся на событиях, которые были близки к катастрофе, но не стали таковыми из-за стечения обстоятельств. Изучение таких «близких промахов» (near misses), когда системы безопасности почти отказали, позволяет выявить критические уязвимости и скорректировать протоколы до того, как произойдет невосполнимый ущерб. 

К сожалению, современные методы вероятностного прогнозирования, включая подходы, используемые в традиции суперпрогнозирования, все еще недостаточно глубоко интегрированы в оценку ядерных и биологических рисков. Для создания надежных моделей безопасности необходимо не только учитывать имеющиеся данные, но и более эффективно применять методы обоснованного прогнозирования.

### Уроки советской программы «Биопрепарат»

[[JUMP:1:23:07]]

История биологических исследований в СССР служит мрачным предостережением о масштабах рисков, связанных с масштабными программами. Программа «Биопрепарат», действовавшая до конца Холодной войны, была огромной операцией: в ней были задействованы до 50 000 человек. В отличие от ядерных программ, биологические разработки были менее прозрачны, но не менее опасны.

Наибольшее беспокойство вызывает частота случайных утечек и заражений, которые происходили в течение десятилетий. Среди наиболее известных инцидентов:

* **Инцидент в Свердловске:** Из-за неисправности системы вентиляции споры сибирской язвы попали в атмосферу, что привело к заражению жителей близлежащего города.
* **Вспышки оспы:** Были зафиксированы случаи заражения населения, вероятно, связанные с испытательными полигонами, где проводились эксперименты на животных.
* **Внутрилабораторные инфекции:** Согласно отчетам перебежчиков, сотни сотрудников лабораторий ежегодно подвергались заражению, что свидетельствует о системных проблемах с безопасностью.

Исследования показывают, что уровень инцидентов в «Биопрепарате» сопоставим с тем, что наблюдается в современных лабораториях с высоким уровнем биобезопасности (BSL-3) в демократических странах. Статистика указывает на примерно один случай заражения на каждые 500 лабораторных лет работы с опасными агентами.

### Безопасность исследований «gain-of-function»

[[JUMP:1:34:33]]

Особую тревогу вызывает так называемые исследования с приобретением функций (gain-of-function), в ходе которых ученые намеренно модифицируют вирусы для придания им новых свойств, таких как повышенная вирулентность или способность обходить действие вакцин. 

Если даже в хорошо организованных лабораториях риск утечки патогена составляет порядка одного случая на 1000–2000 лабораторных лет, то при масштабировании таких исследований до сотен лабораторий по всему миру совокупная вероятность катастрофы становится неприемлемо высокой.

С точки зрения экономики, если рассматривать ущерб от потенциальной пандемии (который может исчисляться десятками триллионов долларов), то даже минимальный риск лабораторной утечки превращается в миллиарды долларов «ожидаемого ущерба» в год для каждой отдельной лаборатории. Шульман предлагает мысленный эксперимент: если бы лаборатории были обязаны покупать страховку, покрывающую риск случайного глобального заражения, стоимость полиса составила бы около миллиарда долларов в год.

Существует фундаментальное институциональное искажение: организации, одобряющие такие гранты, не несут ответственности за возможный глобальный ущерб, нанесенный третьим лицам. Инвестиции миллиардов долларов в исследования, которые ставят под угрозу жизни людей во всем мире, выглядят неоправданными, особенно когда те же средства можно направить на развитие систем раннего предупреждения, разработку вакцин и терапевтических средств без сопутствующего риска создания нового патогена.

## 🛡️ Изменение ландшафта угроз: почему рукотворный биориск затмевает силы природы
[[JUMP:1:40:43]]

В дискуссиях о будущем человечества естественные катастрофы — такие как падения астероидов или извержения супервулканов — традиционно воспринимаются как главные экзистенциальные угрозы. Однако, как отмечает **Карл Шульман (Carl Shulman)**, в XXI веке этот баланс радикально смещается в сторону антропогенных рисков. В то время как вероятность столкновения Земли с крупным астероидом остается стабильно низкой на протяжении миллионов лет, стремительное развитие биотехнологий создает беспрецедентные вызовы. Человечество оказалось перед лицом угроз нового типа, к масштабам которых существующие институты безопасности абсолютно не готовы.

### Природная стабильность против технологического ускорения
[[JUMP:1:45:50]]

Главное отличие естественных патогенов от потенциальных продуктов продвинутых военных или научных программ заключается в эволюционных ограничениях. Природные вирусы не «заинтересованы» в полном уничтожении своего хозяина, и человеческая популяция уже имеет к большинству из них базовый иммунитет. Ранее в разговоре собеседники касались истории создания биооружия и рисков исследований с приобретением функций, однако Карл Шульман подчеркивает фундаментальный технологический сдвиг: современная наука позволяет полностью обойти природные барьеры. 

В сценарии крупной государственной программы по созданию биооружия исследователи способны работать со штаммами, целенаправленно модифицированными для преодоления вакцинной защиты. История помнит подобные примеры: в рамках советской биологической программы велись работы по повышению смертоносности натуральной оспы и поиску способов обхода существующих вакцин. Если естественные угрозы статичны, то антропогенные опасности растут экспоненциально вместе с научным прогрессом. Карл Шульман предупреждает, что при текущих темпах развития технологий возникновение условий для глобальной биокатастрофы становится реалистичным сценарием ближайших десятилетий.

### Психология нулевых рисков и институциональные провалы
[[JUMP:1:42:40]]

Почему же общество игнорирует столь очевидную диспропорцию в пользу контроля рукотворных угроз? Шульман указывает на когнитивное искажение: склонность людей округлять крайне малые вероятности до полного нуля. В биотехнологических лабораториях это приводит к опасной беспечности. Даже если риск утечки опасного штамма из сертифицированного центра составляет всего 1 из 10 000, в масштабах планеты математическое ожидание ущерба исчисляется миллиардами долларов, что многократно превышает бюджеты самих научных проектов.

Ситуация усугубляется искаженными частными стимулами в научном сообществе. Ученые и коммерческие структуры часто руководствуются соображениями карьеры, грантов или публикаций. Ярким примером послужила публикация работы по сборке вируса оспы лошадей (horsepox), близкого родственника натуральной оспы, выполненная в коммерческих интересах ради разработки новых вакцин. Для конкретного исследователя личный риск гибели в результате инцидента может оцениваться всего в 10 000 долларов с точки зрения статистической стоимости жизни. Это делает опасные эксперименты финансово и карьерно оправданными для него лично, несмотря на колоссальный внешний негативный эффект для всего мира. Ранее авторы упоминали идею обязательного страхования ответственности для ученых, способную скорректировать эти стимулы, но подобные практики до сих пор не внедрены. Без жесткого контроля со стороны общества частные стимулы избегать катастроф остаются на несколько порядков ниже необходимых.

### Абсолютная катастрофа: масштабы потенциального урона
[[JUMP:1:54:25]]

Современная система биобезопасности страдает от методологической ошибки: она оценивает лишь локальные риски. Инструкции фокусируются на защите персонала лабораторий, полностью игнорируя глобальный масштаб последствий в случае пандемии. Карл Шульман приводит в пример лихорадку Эбола: несмотря на высокую смертность, этот вирус не способен вызвать мировую катастрофу в развитых странах благодаря быстрой изоляции заболевших. В то же время исследования по инвентаризации диких вирусов или модификации патогенов подвергают риску миллиарды людей без их ведома и согласия.

Опыт пандемии COVID-19 показал, что государства готовы тратить триллионы долларов на сдерживание кризиса. Однако в случае искусственно созданного вируса со смертностью 50% или 90% привычные регуляторные механизмы просто откажут. Экзистенциальный кризис такого масштаба потребует мер жесткого военного времени и устранения бюрократических барьеров. 

Показательным примером упущенных возможностей стали контролируемые испытания вакцин на добровольцах (challenge trials) во время недавней пандемии. Ранее в беседе затрагивались провалы мобилизации ресурсов, но Шульман подчеркивает: если бы такие испытания провели в первые месяцы 2020 года, это позволило бы развернуть массовую вакцинацию на полгода раньше, предотвратив миллионы смертей и сэкономив триллионы долларов. Тем не менее, этические барьеры и регуляторная инерция заблокировали эту инициативу. Человечество продолжает тратить огромные ресурсы на мониторинг редких природных катаклизмов, оставляя дверь открытой для рукотворных угроз, способных полностью уничтожить цивилизацию.

## 🚀 Риски для будущего: от исторических уроков до стратегий выживания

[[JUMP:2:15:09]]

Карл Шульман (Carl Shulman) и его коллеги провели масштабное исследование, своего рода «интеллектуальную историю» экзистенциальных рисков. Целью этого проекта было изучить тысячи лет человеческой истории, чтобы выявить все значимые случаи, когда люди предрекали технологические или социальные события с колоссальным влиянием на траекторию развития цивилизации — как позитивным, так и негативным. Подобная систематизация позволяет оценить «базовые ставки» (base rates) и научиться эффективнее интерпретировать свидетельства о текущих угрозах.

### Таксономия глобальных угроз

[[JUMP:2:16:03]]

В ходе работы исследователи сформировали исчерпывающие таксономии, классифицируя риски по их природе. Это помогает понять, насколько обоснованны опасения сегодня, сравнивая их с ложными тревогами прошлого.

*   **Действия интеллектуальных агентов:** Сюда относятся попытки установления долгосрочного господства (империи, религии), риски, связанные с тоталитарными режимами, генетической инженерией или появлением новых видов существ, способных радикально изменить будущее, а также сценарии с использованием биологического или роботизированного оружия.
*   **Биологические угрозы:** Случаи, когда опасность размножается и распространяется самостоятельно, без участия централизованного «умного» злоумышленника.
*   **Экологические и космические разрушения:** Риски, опосредованные нарушением окружающей среды, такие как изменение климата, ядерная зима, повреждение озонового слоя или астрономические события, способные подорвать производство продовольствия во всем мире.

Отдельно стоит отметить религиозные сценарии апокалипсиса. Хотя исторически они доминируют в литературе о конце света, их научная ценность невелика, так как они часто базируются на субъективных интерпретациях, не выдерживающих критической проверки. По словам Карла Шульмана (Carl Shulman), если бы наши аргументы в пользу рисков пандемий или ИИ были на таком же уровне, как предсказания о божественном гневе, мы могли бы с уверенностью считать их беспочвенными. Однако текущие прогнозы базируются на систематическом анализе доказательств.

### Эволюция понимания рисков

[[JUMP:2:25:23]]

Исследования показали, что со временем наше понимание угроз меняется вместе с развитием науки. Некоторые риски, такие как изменение климата, были концептуально предсказаны еще в конце XIX века (например, Сванте Аррениусом), но потребовались десятилетия наблюдений для их осознания как реальной угрозы. 

Что касается войн, то последние столетия показывают рост потенциального побочного ущерба из-за ядерного и биологического оружия. При этом, несмотря на опасения, ядерное сдерживание оказалось «удивительно стабильным» в текущем геополитическом контексте. Важным уроком стало то, что некоторые катастрофические эффекты, например ядерная зима, были обнаружены довольно поздно, что служит аргументом в пользу того, что существуют еще не открытые механизмы глобальных катастроф.

## 🧭 Ложные тревоги прошлого и парадокс «подозрительного согласия»
[[JUMP:2:30:45]]

### 🛑 Анатомия ложных алармов: почему риторика побеждает науку
[[JUMP:2:31:48]]
Изучение истории катастрофических рисков сопряжено с поиском «ложноположительных результатов» — случаев, когда общество было излишне напугано мнимой угрозой. Карл Шульман отмечает, что при детальном анализе многие исторические «сценарии вымирания» оказываются цитатным следом в никуда.

Классический пример — ядерная зима. В массовой культуре укоренилось представление, что масштабный конфликт приведет к полному исчезновению человечества. Однако Шульман, пообщавшись с авторами ключевых научных работ по этой теме, обнаружил: они оценивали вероятность прямого вымирания нашего вида как чрезвычайно малую — гораздо ниже одного шанса на тысячу. 

Человечество обладает высокой адаптивностью, благодаря которой тотальная гибель практически исключена:

* Океаническая жизнь обеспечивает стабильные ресурсы;
* Существует возможность конвертировать доступную биомассу в пищу;
* Многолетние запасы продовольствия распределены в изолированных точках планеты;
* Население гарантированно выживет в низких широтах (например, в Новой Зеландии).

Публичное приравнивание «конца цивилизации» к «вымиранию вида» — это риторический прием, продиктованный эмоциональным шоком: для американцев гибель половины населения и смена строя ощущаются как конец света, что приводит к понятийной путанице. 

Аналогичную подмену тезиса Шульман наблюдает в действиях движения Extinction Rebellion в Великобритании. Стремясь привлечь внимание к изменению климата, активисты заявляют, что человечество обречено. Когда же их просят предоставить доказательства научного консенсуса именно о вымирании, они меняют тему. Это риторическая стратегия, а не аргументированная позиция.

Схожая картина видна в апокалиптических прогнозах об исчерпании ресурсов (фосфор, ископаемое топливо), которые подробно разбирает Тоби Орд в своей книге, созданной при консультационном участии Шульмана. Большинство таких теорий игнорируют масштабируемое замещение. Сегодня мир тратит на энергию менее 10% ВВП. Даже переход на альтернативы вроде солнечной или ядерной энергетики с учетом стоимости батарей лишь незначительно увеличит расходы (до 15% ВВП), но не вызовет коллапс. 

В сфере продовольствия за счет снижения отходов и отказа от животноводства существует огромный запас прочности: мировое производство еды может упасть вдвое, но никто не умрет от голода при эффективном распределении ресурсов напрямую людям. Для фосфора также доступны технологические решения: от переработки до добычи из бедных руд.

Даже паника вокруг вымирания медоносных пчел из-за клещей Varroa далека от экзистенциальной угрозы. Согласно данным подкаста EconTalk, аграрный сектор США решил проблему, инвестировав около миллиарда долларов в год в разведение новых пчелиных семей. К тому же подавляющее большинство калорий человечества (пшеница, рис) поступает от культур, не требующих опыления насекомыми.

### 🤖 Уроки прошлых прогнозов: от ИИ размером с муравья до масштабирования хардвара
[[JUMP:2:33:59]]
Отсутствие реальных «ложных тревог» среди по-настоящему серьезных экзистенциальных угроз укрепляет уверенность в адекватности текущей повестки. Однако остается эмпирический вопрос: как оценивать относительные масштабы рисков (например, стабильность ядерного сдерживания в сравнении со случайной утечкой биооружия) и приоритизировать интервенции, пока технологии не достигли пика?

Карл Шульман указывает на исторические циклы осмысления угроз. Существует временное окно в годы или десятилетия, когда человечество только осознает потенциал открытого явления. В сфере искусственного интеллекта мы проходим фазу лавинообразного роста возможностей. Общие контуры проблемы — риск потери контроля над автономными системами — были точно описаны пионерами ИИ еще в 1940–1960-х годах, но детальное понимание механизмов сонастройки (alignment) формируется только сейчас.

Анализируя историю прогнозов, Шульман ссылается на исследования Люка Мюльхаузера из Open Philanthropy Project. В начале зарождения ИИ ряд исследователей имели слишком короткие сроки ожиданий. При зарождении любой дисциплины часть задач действительно решается мгновенно (как быстрая разработка первых вакцин против COVID-19), и публичную известность получают самые радикальные прогнозы.

Главная ошибка ранних футуристов заключалась в недооценке мощностей. Они предполагали, что вычислительных элементов меньше, чем в мозге муравья, хватит для сверхинтеллекта. На этом фоне выделялся взгляд Ханса Моравека, утверждавшего, что ключевым драйвером прогресса ИИ станет аппаратное обеспечение. 

Хотя калькулятор превосходит человека в арифметике благодаря аппаратной оптимизации, не было доказательств, что столь малых мощностей хватит для общих когнитивных функций. Ошибочные надежды строились на ложной аналогии: предполагалось, что ИИ превзойдет биологию так же кардинально, как ядерная энергия превосходит химическую, а космические корабли — гепарда. Реальность доказала правоту Моравека: систематический успех ИИ в последнее десятилетие пришел именно через масштабирование вычислений (compute).

### 🤝 Эффект конвергенции: почему долгосрочники и прагматики выбирают одни и те же задачи
[[JUMP:2:49:37]]
В дискуссиях об экзистенциальных рисках часто возникает методологическое сомнение, называемое «подозрительным согласием» (suspicious convergence). Кажется странным, что две радикально разные этические позиции — лонгтермизм (ориентированный на далекое будущее Вселенной) и краткосрочный прагматизм (нацеленный на благополучие нынешних поколений) — сходятся на одинаковых практических проектах. 

Карл Шульман убежден, что это совпадение объясняется объективными эмпирическими факторами. Во-первых, эти школы разделяют общую методологическую базу: готовность работать с низковероятностными, но масштабными событиями и опору на количественные доказательства. Во-вторых, масштаб потенциальных трансформаций в XXI веке настолько огромен, что он неизбежно доминирует в любой системе ценностей. 

Шульман приводит аналогию с Илоном Маском: если бы тот хотел развивать исключительно изящные искусства, стратегия стать богатейшим человеком через Tesla все равно оставалась бы для него оптимальной, давая колоссальный финансовый рычаг. Точно так же, если ИИ способен определить судьбу как нынешнего человечества, так и всей будущей цивилизации, любая моральная позиция заставит вас взаимодействовать с этим фактором.

Важнейшим драйвером конвергенции выступает текущая недооцененность (neglect) сферы снижения экзистенциальных рисков. Поскольку этой темой занимается мало людей, здесь полно «низко висящих фруктов». Шульман оговаривается: если инвестиции увеличатся в 10, 100 или 1000 раз (до уровней, предлагаемых Тоби Ордом), предельная полезность этих задач упадет. Тогда пути систем разойдутся: прагматики переключатся на использование ИИ для помощи беднейшим слоям населения сегодня или на политическую адвокацию, а долгосрочники продолжат искать рычаги влияния на далекое будущее.

Тем не менее, сейчас их конечные и инструментальные ценности прочно пересекаются: выживание нынешнего поколения жизненно важно для обеих сторон. Расхождение начнется лишь в экстремальных сценариях — например, при оценке строительства бункеров на 10 000 человек для автономного перезапуска цивилизации после апокалипсиса, что ценно для лонгтермиста, но мало утешает миллиарды погибших с точки зрения краткосрочного гуманиста.

## 🛡️ Уроки истории и риски биооружия

[[JUMP:2:59:03]]

История разработки и распространения опасных патогенов демонстрирует нам критическую уязвимость современных обществ перед лицом катастрофических рисков. Карл Шульман (Carl Shulman) подчеркивает, что даже при наличии повторяющихся эмпирических примеров реальных пандемических бедствий, мир не демонстрирует адекватного уровня инвестиций в предотвращение подобных угроз.

Важнейшим историческим кейсом здесь выступает советская программа «Биопрепарат». Ее опыт наглядно иллюстрирует, насколько опасной может быть деятельность по разработке патогенов, учитывая высокую частоту лабораторных утечек, которые происходили в ходе ее реализации. Несмотря на то, что в прошлом подобные инциденты приводили преимущественно к локальному ущербу, существует фундаментальная трудность в экстраполяции этих событий на сценарии глобальных катастроф.

Проблема заключается в том, что наше общественное восприятие рисков и «публичная эпистемология» зачастую оказываются не готовы к масштабам потенциальной трагедии. Например, сложно ожидать, что общество отреагировало бы на утечку патогена так, как если бы полноценное применение советского биооружия привело к гибели 500 миллионов человек. В результате:

* Биоугрозы часто остаются «нишевыми темами» для узкого круга экспертов («высоколобых знатоков»).
* Различные политические фракции пытаются либо преувеличить, либо приуменьшить масштаб этих рисков в зависимости от своей повестки.
* Отсутствует общая, разделяемая обществом эпистемология — то есть согласие относительно того, как именно следует оценивать эти угрозы и почему им нужно доверять.

Шульман отмечает, что, хотя исторические предупреждения и текущие программы подготовки к пандемиям создают некоторую мотивацию для инвестиций, они остаются крайне далеки от эффективного уровня, необходимого для обеспечения реальной безопасности.

### Ограниченность «защитной эпистемологии»

[[JUMP:3:04:34]]

В условиях, когда публичные институты и должностные лица постоянно находятся под угрозой критики, судебных исков или политических атак, формируется специфическая модель поведения, которую Карл Шульман называет «защитной эпистемологией».

Чиновники и организации склонны ограничивать свои заявления и действия рамками «железобетонных», общепризнанных доказательств. В такой системе карьерные издержки за ошибку или «потраченные усилия» могут быть огромны, тогда как политическое вознаграждение за предотвращение невидимых, гипотетических угроз практически отсутствует. Это создает глубокий разрыв между частными суждениями экспертов и тем, что транслируется публике.

* **Риск-менеджмент:** В отличие от венчурных инвесторов, которые диверсифицируют риски и готовы к неудачам ради редких успехов, политическая система крайне чувствительна к любым провалам.
* **Утрата экспертизы:** Когда экспертам запрещено высказывать «честные личные суждения» до момента их полной институциональной верификации, общественный дискурс теряет огромный объем ценной информации, которая могла бы сделать принимаемые решения более точными.
* **Искажение моделей:** Постоянная необходимость опираться на защитную эпистемологию приводит к тому, что институты инвестируют меньше усилий в построение точных моделей мира, а люди с высоким интеллектуальным потенциалом реже находят там свое место.

По мнению Шульмана, эта проблема выходит за рамки простой боязни увольнения. Она тесно связана с человеческой склонностью к конформизму и имитации, которая глубоко укоренена в нас, но часто мешает объективной оценке новых, нестандартных угроз.

### Ценность интеллектуальной независимости

[[JUMP:3:12:06]]

Для преодоления системной инерции обществу критически важны личности, способные на независимое мышление, даже если оно идет вразрез с текущими институциональными нормами. Карл Шульман отмечает, что научные прорывы зачастую совершаются людьми с чертой «несогласия» (в терминах «Большой пятерки»), которые менее чувствительны к социальному давлению.

Однако интеллектуальная независимость сама по себе — «палка о двух концах». Простое увеличение энтропии и хаотичный отход от консенсуса не ведут к истине. Общество нуждается в комбинации:

1.  **Рациональных норм:** Активный поиск опровергающей информации и опора на данные.
2.  **Эмпирических ориентиров:** Регулярная сверка с результатами научных экспериментов и предсказательными моделями.

В мире, где большинство институтов действуют конформно, люди, способные на объективную и независимую проверку новых идей, оказываются теми, кто может оказать решающее влияние на долгосрочное будущее.

## ⏳ Оценка «периода критического значения» истории

[[JUMP:3:21:06]]

Карл Шульман (Carl Shulman) предлагает взглянуть на историю не как на бесконечную череду равнозначных столетий, а как на процесс, имеющий критические точки перелома. Основной аргумент заключается в том, что текущий век с высокой вероятностью является наиболее «петлевым» (hingi) или поворотным моментом для всего будущего человечества.

### Механика преемственности и риски «блокировки»
[[JUMP:3:21:06]]

Концепция критического периода опирается на так называемую проблему преемственности (preemption issue). Если допустить, что в истории развития цивилизации существуют события, способные привести к полному вымиранию или необратимой «блокировке» траектории развития (lock-in events), то вероятность того, что это произойдет именно сейчас, становится статистически значимой. Как только технологии достигают уровня, делающего такие события возможными, они, скорее всего, произойдут достаточно быстро, а не будут равномерно распределены на миллиарды лет.

Таким образом, текущее столетие оказывается в уникальном положении: мы находимся в начале пути освоения технологий, которые могут либо радикально обезопасить будущее, либо фатально его ограничить. Если подобные технологии будут созданы в ближайшее время, они «преемствуют» все потенциальные будущие риски, делая наш век наиболее важным для принятия стратегических решений.

### Ускорение технологического прогресса
[[JUMP:3:21:46]]

Критическая значимость нашего времени подкрепляется текущими темпами технологического прогресса. Карл Шульман (Carl Shulman) отмечает, что скорость изменений, наблюдаемая в последние несколько столетий после промышленной революции, качественно отличается от всего, что человечество переживало за предыдущие 10 000 лет.

Существуют строгие физические и экономические ограничения, которые не позволяют сохранять такую динамику бесконечно. Например:

* Ограничения скорости передачи сигнала (скорость света).
* Пределы термодинамической эффективности.
* Конечные ресурсы солнечной системы.

Даже при постоянном экспоненциальном росте, согласно оценкам, человечеству потребуется около 10 веков, чтобы исчерпать ресурсы, доступные в пределах Солнечной системы. Этот сжатый временной горизонт означает, что значительная доля всего технологического прогресса, который когда-либо будет возможен, скорее всего, придется именно на ближайшие несколько сотен лет.

### Роль ИИ и человеческого потенциала
[[JUMP:3:30:08]]

Особое внимание в рассуждениях уделяется автоматизации мышления и искусственному интеллекту. ИИ рассматривается как ключевой инструмент, способный выступать «узким горлышком» для операций цивилизации. Разработка стабильных, понятных и надежных систем, способных заменить или усилить человеческий интеллект, является критически важной задачей.

Кроме того, если ИИ позволит ускорить субъективное время (например, через выполнение миллионов «субъективных лет» за один реальный год), это создаст беспрецедентную нагрузку на надежность систем безопасности. Успех в создании стабильных социальных и программных систем, которые не разрушат сами себя в ходе этого быстрого перехода, становится залогом долгосрочного выживания.

### Альтернативные сценарии
[[JUMP:3:37:39]]

Хотя сценарий «критического столетия» выглядит убедительно, существуют аргументы, ставящие его под сомнение. Например, гипотеза симуляции предполагает, что мы можем ошибаться в оценке собственной значимости из-за искаженной выборки — в огромной галактической истории могут существовать триллионы «копий» сознаний, пребывающих в иллюзии нахождения в ключевой точке истории.

Другой вариант — глобальная катастрофа (например, биоугрозы, о которых вскользь упоминали ранее), способная отбросить развитие цивилизации на столетия назад, что автоматически лишит наш век статуса «самого важного». Также рассматривается сценарий технологической стагнации, вызванной демографическим переходом, когда нехватка инновационных кадров и пределы роста замедляют прогресс, растягивая его на более долгий, но менее «критический» период. Тем не менее, Шульман склоняется к тому, что даже с учетом этих рисков вероятность значительных перемен в текущем столетии остается высокой.

## 🌌 Философия неопределенности: взгляд сквозь призму «Рика и Морти»
[[JUMP:3:46:16]]

### Культурный контекст экзистенциального риска
[[JUMP:3:47:09]]

В завершающей части беседы Карл Шульман (Carl Shulman) неожиданно переходит от обсуждения глобальных стратегий к вопросам личного восприятия мира и досуга. Обсуждая свои предпочтения в поп-культуре, Шульман отмечает, что, подобно многим гостям подкаста, является поклонником мультсериала «Рик и Морти». Этот выбор оказывается не просто способом скоротать время, а своеобразным ключом к его мировоззрению в контексте работы с экзистенциальными рисками.

Для исследователя, который ежедневно сталкивается с потенциально катастрофическими сценариями будущего, важно различать подходы к осмыслению «больших и пугающих миров». Шульман противопоставляет два философских полюса:

* **Лавкрафтовский ужас:** восприятие вселенной как обреченной системы, управляемой законами энтропии и непостижимыми, враждебными силами («гигантские кальмары под толщей воды»).
* **Экзистенциально осознанный юмор «Рика и Морти»:** признание того, что, несмотря на хаотичность и несовершенство бытия, человек сохраняет агентность.

Такой подход позволяет сохранять ментальную устойчивость, работая с высокими ставками. Карл Шульман подчеркивает, что философия сериала заключается не в безразличии, а в принятии ответственности: даже если всё вокруг «испорчено», разумная стратегия состоит в том, чтобы «пытаться наслаждаться поездкой» и при этом стараться «направить события в лучшее русло».

### Решающее десятилетие и личная ответственность
[[JUMP:3:47:49]]

Несмотря на то что в рамках этой дискуссии мы не углубляемся в детализированный анализ институциональной инертности или специфических биоугроз — вопросы, которые детально разбирались ранее — финальный акцент Шульмана возвращает нас к главному выводу всей беседы. Развитие технологий, особенно в сфере ИИ, делает текущее десятилетие критически важным для человечества.

Требование уточнения эмпирических данных для принятия верных стратегических решений остается центральным вызовом. Переход от пассивного осознания рисков к активному действию требует формирования интеллектуального сообщества, готового заниматься сложными проблемами. В этом контексте призыв к слушателям 80,000 Hours не является формальностью:

* Команда активно расширяет штат консультантов, чтобы предоставлять индивидуальную поддержку тем, кто хочет профессионально посвятить себя решению экзистенциальных проблем.
* Индивидуальное планирование карьеры — от подбора наставников до выбора конкретных организаций — является логичным завершением процесса «направления событий в лучшее русло», о котором говорит Карл Шульман.

Ранее в разговоре они касались более строгих экономических моделей превентивных мер и критики долгосрочного мышления, однако в финале фокус смещается на то, что личный вклад каждого человека остается решающим фактором в условиях неопределенного будущего.