# Период Златовласки: почему наш век определяет судьбу цивилизации Источник: https://www.youtube.com/watch?v=xboHY7Lgats Канал: 80,000 Hours Опубликовано: 26.01.2025 --- Трата всего одного доллара запускает непредсказуемые долгосрочные последствия, однако попытка полностью избежать вреда неизбежно приводит к моральному параличу. Философ Уилл Макаскилл убежден, что человечество находится в хрупком «периоде Златовласки» — уникальной эпохе, когда наши текущие решения определят облик далекого будущего. Чтобы спасти грядущие поколения, движение эффективного альтруизма отказывается от слепого алармизма перед ИИ в пользу глубоких академических исследований и точной диверсификации глобальных рисков. ## 🌍 Переосмысление глобальных задач: куда движется эффективный альтруизм [[JUMP:02:50]] ### Расширение портфолио мировых проблем [[JUMP:02:50]] Сообщество эффективного альтруизма (EA) переживает важный этап внутренней трансформации, меняя свой подход к определению ключевых направлений деятельности. Как отмечает ведущий подкаста Роберт Виблин, долгое время фокус внимания многих участников движения был смещен в сторону экзистенциальных угроз, связанных с развитием технологий. Однако сегодня назрела острая необходимость расширить спектр рассматриваемых вопросов и вовлечь сообщество в обсуждение более широкого круга глобальных проблем. Эта тенденция отражает не кризис идей, а, напротив, качественный рост самого движения. По мере того как увеличиваются ресурсы и растет число людей, готовых посвятить себя изменению мира к лучшему, расширяются и возможности сообщества по эффективному распределению сил. Вместо концентрации на нескольких привычных направлениях, эффективный альтруизм движется к концепции «диверсифицированного портфолио вызовов». На данный момент исследователями уже составлен структурированный список, включающий около дюжины новых глобальных проблем, снабженных кратким анализом их приоритетности. Такой подход позволяет избежать когнитивных искажений и не упустить из виду критически важные сферы, которые ранее оставались на периферии внимания аналитиков. ### Анализ аудитории и проверка гипотез на лекционном туре [[JUMP:05:50]] Одним из главных идеологов этого интеллектуального сдвига выступает Уилл Макаскилл (Will MacAskill) — философ и сооснователь движения эффективного альтруизма. В настоящее время он совмещает академическую деятельность в Оксводре с написанием новой книги, которая закладывает теоретический фундамент под долгосрочные приоритеты человечества. Чтобы протестировать свои идеи и понять, насколько общество готово к восприятию обновленной повестки, Макаскилл отправился в масштабный лекционный тур. Для философа эта поездка стала своеобразным аналогом бизнес-практики «разговора со своими пользователями», где в роли целевой аудитории выступают студенты бакалавриата и магистратуры, а также молодые исследователи. Макаскилл стремился выяснить, как мыслящие люди реагируют на сложные этические аргументы и какие тезисы вызывают наибольший отклик или сопротивление. Результаты этого турне принесли несколько неожиданных открытий для всей команды: * Уровень понимания базовых идей эффективного альтруизма среди академической молодежи оказался чрезвычайно высоким — около 50% аудитории уже были глубоко знакомы с повесткой. * Ожидаемое сопротивление со стороны представителей радикальных экологических движений (deep environmentalists) оказалось значительно слабее, чем предполагалось изначально. * Многие активисты, традиционно сфокусированные исключительно на проблеме изменения климата, охотно соглашались с необходимостью мыслить более масштабно и признавали важность долгосрочного планирования. Эти наблюдения доказывают, что интеллектуальная среда созрела для выхода за рамки узкоспециализированных дискуссий о рисках искусственного интеллекта. Люди готовы обсуждать глобальные приоритеты на качественно ином, системном уровне. ### Институциональный сдвиг: от создания фондов к глубокой науке [[JUMP:13:42]] Эволюция приоритетов движения тесно переплетена с личной профессиональной траекторией его лидеров. Уилл Макаскилл вспоминает, что в первые годы становления эффективного альтруизма его деятельность носила преимущественно прикладной, организационный характер. Он стоял у истоков создания таких краудсорсинговых и благотворительных проектов, как Giving What We Can. Однако со временем стало очевидно, что для масштабного изменения мира одних лишь практических инструментов недостаточно — необходима мощная теоретическая база. Именно поэтому Макаскилл и его коллеги перешли в так называемый «исследовательский режим», сосредоточив усилия на работе в Институте глобальных приоритетов (Global Priorities Institute, GPI) при Оксфордском университете. Сегодня GPI активно нанимает молодых ученых и исследователей, стремясь превратить поиск эффективных путей помощи человечеству в строгую академическую дисциплину. Диверсификация исследований в GPI призвана ответить на ключевой вопрос: как правильно распределять ресурсы в условиях неопределенности? Пытаясь найти этот баланс, исследователи неизбежно сталкиваются с фундаментальными этическими дилеммами. Например, в рамках этого же интервью Макаскилл подробно разбирает различие между действием и бездействием, а также парадокс морального паралича, когда попытка просчитать каждое мимолетное последствие своего шага (вплоть до поездки на автомобиле в магазин) грозит человеку полным ступором. И хотя глубокий разбор этих этических парадоксов относится к темам следующей главы, их появление в дискуссии наглядно иллюстрирует, насколько усложнился и углубился внутренний этический анализ в сообществе эффективного альтруизма. Движение переросло рамки простых утилитарных расчетов и вышло на уровень комплексного исследования глобальных приоритетов человечества. ## 🏠 Парадокс паралича: почему этика запрещает выходить из дома [[JUMP:25:19]] ### Проклятие «кубиков Фортуны»: как рождается моральный паралич [[JUMP:25:19]] В основе многих не-консеквенциалистских этических теорий лежит интуитивное и понятное каждому убеждение: причинять прямой вред гораздо хуже, чем просто не приносить пользу. Однако в нашем глубоко взаимосвязанном мире эта асимметрия блага и вреда создает опасную интеллектуальную ловушку. **Уилл Макаскилл (Will MacAskill)** описывает эту проблему через яркую метафору «кубиков Фортуны» (dice of Fortuna). Каждый раз, совершая абсолютно любое осознанное действие, мы бросаем эти невидимые кубики, запуская бесконечную цепочку непредсказуемых долгосрочных последствий. Даже самые невинные повседневные решения — например, потратить один доллар или просто пойти в местный магазин за покупками — гипотетически могут через сотни случайных посредников привести к катастрофическим последствиям в будущем. Макаскилл приводит в пример мысленный эксперимент со сложной коробкой, внутри которой скрыто множество рычагов. Вы не знаете её точного внутреннего устройства, но понимаете, что нажатие кнопки может отозваться трагедией где-то через сто лет. Точно так же работает наше взаимодействие с масштабными мировыми системами — например, когда наши обычные экономические цепочки косвенно подпитывают диктаторские режимы в других странах. Даже если итоговый вред опосредован решениями самого диктатора, исходная причинно-следственная связь никуда не исчезает. Ранее в разговоре собеседники уже касались применения Парето-эффективности, но в рамках жесткого деонтологического запрета на причинение вреда логика становится беспощадной. Если любое действие несет в себе хотя бы ничтожную вероятность стать триггером для чьих-то страданий, то, с точки зрения строгих философов, это действие должно быть морально запрещено. В результате этика приводит человека к полному параличу. Единственным праведным выходом кажется тотальный «каузальный изоляционизм» — отчаянная попытка полностью отрезать себя от мира, чтобы не стать виновником случайного зла. ### От активизма к академическим баррикадам: зачем философу рецензенты [[JUMP:34:14]] Разбор столь экстремальных и парадоксальных этических сценариев — это не просто абстрактная гимнастика для ума, а то, чем Уилл Макаскилл предметно занимается последние годы. С легкой иронией упоминая свои тяжелые дискуссии с рецензентами научных журналов («к сожалению, рецензенты, с которыми мы столкнулись...»), философ подсвечивает важнейший поворот в собственной траектории. Речь идет о его личном переходе от практического, операционного управления некоммерческими организациями к глубокой академической и исследовательской деятельности. На ранних этапах развития движения эффективного альтруизма Макаскилл тратил колоссальное количество энергии «в полях»: координировал практические инициативы, занимался фандрайзингом и лично выстраивал процессы в созданных им фондах. Это была понятная, осязаемая и приносящая мгновенный результат работа. Однако столкновение со сложнейшими теоретическими тупиками показало, что без фундаментальных академических изысканий любое долгосрочное планирование рискует зайти в тупик. Чтобы практический активизм не разбился о парадоксы вроде «морального паралича», Макаскиллу пришлось вернуться за академический стол. Вытачивание безупречных формулировок и защита концепций перед лицом придирчивого научного сообщества стали для него главным инструментом защиты долгосрочных целей альтруизма. Прорабатывая эти парадоксы в рецензируемых журналах, он фактически строит устойчивую этическую систему навигации, жертвуя сиюминутными медийными успехами ради концептуальной строгости. ### Действие против бездействия: спасет ли нас сидение дома? [[JUMP:43:58]] Если любое наше действие в мире чревато скрытым вредом, то самым логичным спасением кажется абсолютная пассивность. Можно ли полностью очистить свою совесть, если просто «сидеть дома и ничего не делать»? На первый взгляд, если человек целыми днями не выходит из четырех стен, он гарантированно никого не убьет и не покалечит. Однако Макаскилл доказывает, что провести четкую, этически значимую границу между активным действием и бездействием (acts and omissions) на практике невозможно. В качестве контраргумента философ напоминает классический мысленный эксперимент Питера Сингера о мелком пруде: если вы видите тонущего ребенка и сознательно проходите мимо, ваше бездействие морально чудовищно. Сидение на диване в глобальном мире — это точно такой же активный выбор, который имеет свои каузальные последствия для окружающих. Роберт Уиблин предлагает сравнить две ситуации: запуск хитроумного гаджета, который убьет человека, и обычное решение остаться дома на весь день. Если наше сидение дома в конечном итоге приводит к такому же объему упущенного блага или скрытого вреда, то почему мы считаем себя невиновными? Философы-деонтологи часто пытаются спасти эту концепцию через анализ намерений: намеревались ли вы нанести вред или это вышло случайно. Однако на практике проведение таких искусственных границ превращается в попытку сотворить «крайне неуклюжую, топорную ментальные надстройку», перегруженную взаимными исключениями. В реальности наше недеяние точно так же перекраивает будущее, как и наши поступки. Спрятаться от этической ответственности за стенами собственного дома не получится: мир все равно настигнет нас, превратив само наше бездействие в источник далеко идущих последствий. ## ⚖️ Парето-эффективность в межвременном измерении [[JUMP:50:29]] ### Расширение принципа Парето на будущие поколения [[JUMP:50:29]] В экономической теории и этике классический принцип Парето-улучшения служит фундаментальным ориентиром: действие признается справедливым, если оно улучшает положение хотя бы одного индивида, не ухудшая при этом положение никого другого. Однако Уилл Макаскилл (Will MacAskill) предлагает перенести этот критерий на распределенные во времени группы людей. Традиционно этот подход применяется к статичным моделям, но при попытке оценить долгосрочные последствия наших решений возникают глубокие теоретические противоречия. Ранее в разговоре собеседники уже затрагивали различие действий и бездействия, а также парадокс паралича в морали, но именно в плоскости межвременного распределения классические этические рамки подвергаются наибольшему испытанию. Когда мы стремимся совершить благо с прицелом на очень отдаленную перспективу, наши действия неизбежно запускают цепочки макроэффектов. Роберт Уиблин замечает, что спасение сотен тысяч жизней в настоящем кардинально меняет демографическую карту будущего за счет изменения состава населения и смещения цепочек наследования блага. Уилл Макаскилл обсуждает эти комплексные проблемы в рамках своей совместной исследовательской работы с философом Хилари Гривз. Они анализируют, как утилитарный или консеквенциалистский подход может адекватно оценивать благосостояние будущих, еще не существующих людей. Главный вопрос здесь заключается в том, правомерно ли считать действие Парето-улучшением, если оно ориентировано на долгосрочную перспективу, но требует издержек от текущего поколения. ### Проблема распределенных последствий и асимметрии [[JUMP:58:32]] Проблема этического выбора обостряется, когда возникает необходимость выбирать между краткосрочными гарантированными благодеяниями и долгосрочными проектами с высокой степенью неопределенности. В качестве примера приводится дилемма выбора между финансированием понятных и надежных мер, таких как раздача сеток от малярии, и инициативами, направленными на предотвращение масштабных глобальных угроз, например, ядерного конфликта. Хотя темы долгосрочного планирования (longtermism), риск-аверсии и снижения экзистенциальных рисков подробно разбираются в других главах, здесь важно проанализировать их исключительно сквозь призму распределения Парето-эффектов. Применение Парето-эффективности к распределенным во времени группам наталкивается на фундаментальную асимметрию: * Будущие поколения полностью лишены субъектности в текущем экономическом или этическом «торге», их потенциальные предпочтения нам неизвестны. * Моральные решения, принимаемые сегодня, могут максимизировать общее благосостояние в будущем, но требовать реальных и ощутимых жертв от конкретных людей в настоящем. * Попытка зафиксировать «гарантированное» улучшение для всех групп сталкивается с феноменом убывающей предельной полезности накапливаемого благосостояния. Уилл Макаскилл подчеркивает, что для точной этической оценки нам необходимо знать не только общий объем создаваемой ценности, но и то, как именно она распределяется между поколениями. Использование таких инструментов, как теория полезности, зависимая от рангов (Rank-dependent utility theory), позволяет добавлять небольшие приращения вероятности к возможным сценариям будущего. Но даже это не решает проблему Парето-эффективности: если хотя бы одна распределенная во времени группа людей оказывается в относительном проигрыше из-за нашего выбора, действие формально перестает быть чистым Парето-улучшением. ### Конфликт поколений и долгосрочная неопределенность [[JUMP:1:10:43]] Философский тупик обостряется тем фактом, что практически все долгосрочные эффекты наших действий крайне непредсказуемы. Любое этическое решение имеет как очень хорошие, так и очень плохие потенциальные последствия в масштабах веков. Когда мы сравниваем спасение одной конкретной человеческой жизни сегодня с действием, имеющим минимальный шанс кардинально изменить далекое будущее, стандартная логика Парето перестает работать. Мы просто не можем гарантировать полное отсутствие негативного влияния на какую-либо из будущих когорт из-за непредсказуемых долгосрочных эффектов. Если наши текущие действия приводят к непредсказуемым отдаленным результатам, то любое перераспределение ресурсов между настоящим и будущим неизбежно создает гипотетически проигравших. Таким образом, жесткое требование Парето-эффективности — не навредить абсолютно никому — способно полностью парализовать любые масштабные межвременные проекты. Чтобы преодолеть этот парадокс, исследователям приходится искать компромиссы между строгими критериями Парето и более гибкими консеквенциалистскими моделями, способными сбалансировать выгоды и риски для всех поколений человечества. ## 🧭 Математика исключительности: как оценить нашу эпоху, не теряя рассудка [[JUMP:1:15:30]] ### Эпистемологический тупик: взгляд изнутри против взгляда снаружи [[JUMP:1:15:30]] Как рассуждать о глобальной значимости текущего момента истории, если у человечества нет возможности сравнить свой опыт с тысячами других космических цивилизаций? Уилл Макаскилл и Роберт Уиблин подробно разбирают методологический конфликт между «взглядом изнутри» (inside view) и «взглядом снаружи» (outside view) при оценке нашей эпохи. С одной стороны, эмпирические наблюдения за технологическим прогрессом указывают на то, что мы находимся в уникальной поворотной точке. Человечество уже создало разрушительное ядерное оружие, а в ближайшем будущем рискует столкнуться с переходом к искусственному общему интеллекту (AGI), который способен навсегда определить вектор развития доступной нам Вселенной. Философ Тоби Орд называет это состояние «эпохой пронзительных опасностей» (time of perils), отсчёт которой начался в XX веке. Подобные доводы формируют сильный взгляд изнутри, подталкивающий к мысли об уникальности текущего момента (однако подробный разбор того, является ли наш век ключевым, авторы оставляют для последующих глав). С другой стороны, взгляд снаружи заставляет проявлять крайнюю осторожность. По законам чистой вероятности, шанс любого наблюдателя родиться именно в то самое «уникальное» время среди миллиардов потенциальных веков человеческой истории исчезающе мал — условный один на миллиард. Уиблин метафорически формулирует этот базовый скептицизм: если вам сдали колоду карт в идеальном хронологическом порядке, вы вряд ли поверите, что это произошло случайно. Без экстраординарных обоснований мы обязаны сохранять низкую уверенность (low credence) в собственной исключительности. Возникает парадокс: наши непосредственные технологические наблюдения говорят, что мы на пороге величайших сдвигов, но статистический здравый смысл требует считать себя заурядными наблюдателями в случайной точке времени. ### Вероятностные априори и «синдром величия» [[JUMP:1:26:45]] Чтобы разрешить это противоречие, Уилл Макаскилл предлагает использовать байесовское обновление вероятностей. Ключевой вопрос заключается в том, какое априорное убеждение (prior) мы закладываем в модель изначально. Если использовать строгое «коперниканское» априори, постулирующее, что наша эпоха ничем не примечательна, то даже сильные эмпирические свидетельства изнутри едва ли сдвинут итоговую оценку с мёртвой точки. Макаскилл считает, что наша базовая готовность поверить в критический статус эпохи не должна стремиться к нулю — разумно зафиксировать её на уровне 5% или 10%. В противном случае, полностью игнорируя вероятность ошибки, аналитики рискуют впасть в опасное когнитивное искажение, которое Уилл называет «синдромом величия» (delusions of grandeur). Представьте человека, который искренне убежден, что именно он стоит перед кнопкой, определяющей судьбу мира — скорее всего, перед нами ментальное расстройство. Точно так же и целое поколение может страдать от коллективной иллюзии собственной важности. Чтобы не превратить лонгтермизм в форму мессианства (концепцию заботы о будущем и долгосрочные цели коллеги детально разбирают отдельно), необходимо регулярно подвергать сомнению свои байесовские обновления. Макаскилл подчеркивает: если наши модели предсказывают исключительность века, это повод не для гордости, а для глубокого эпистемического подозрения. ### Правило преемственности Лапласа в антропном контексте [[JUMP:1:33:40]] Ещё один строгий инструмент, помогающий откалибровать ожидания — это знаменитое правило преемственности Лапласа (Laplace's rule of succession), изначально сформулированное для решения задачи о восходе солнца. Если мы наблюдали восход солнца $n$ раз, вероятность того, что оно взойдёт завтра, рассчитывается с допущением двух гипотетических дней: одного с восходом, другого — без. Применяя этот принцип к истории цивилизации, мы сталкиваемся со специфической асимметрией. Роберт Уиблин задаётся вопросом: как мы можем быть уверены, что самое важное столетие для человечества ещё не осталось позади? В истории легко указать на периоды, которые казались современникам абсолютно критическими. Однако Уилл Макаскилл поясняет, что равномерное априорное распределение (uniform prior) в антропном контексте работает тоньше. Мы оцениваем вероятность не просто абстрактного отрезка времени, а жизнеспособность цивилизации перед лицом нарастающих экзистенциальных угроз. Каждое пройденное столетие без катастроф меняет знаменатель в формулах, делая гипотезу о текущем «особом веке» более весомой и заставляя признать: шансы на то, что именно сейчас решается долгосрочная траектория развития разума, объективно возрастают вместе с нашей технологической мощью. ## 🌍 Горизонт в тысячи поколений: почему будущее имеет значение [[JUMP:1:40:36]] ### Положение человечества на временной шкале истории [[JUMP:1:40:36]] **Уилл Макаскилл (Will MacAskill)** предлагает взглянуть на человечество под принципиально иным углом — как на цивилизацию, находящуюся на самом раннем этапе своего развития. Если представить общую потенциальную продолжительность существования разумной жизни, мы родились в так называемый **«период Златовласки»** (Goldilocks time), когда базовые условия для развития уже стабильны, но впереди еще колоссальный, практически бесконечный путь. В рамках этого подхода философ развивает концепцию лонгтермизма — этической позиции, которая ставит благополучие далеких будущих поколений во главу угла. По мнению Макаскилла, если в будущем цивилизация успешно разрастется на тысячи планетарных систем, наши сегодняшние решения этического и технологического характера определят долгосрочный вектор этого грандиозного движения. Хотя ранее в дискуссиях всплывали темы влияния ИИ на риски и сценарии с самовоспроизводящимися ИИ-агентами, в контексте долгосрочного планирования ключевой задачей становится защита самого потенциала человечества. Мы наблюдаем постоянную культурную и социальную эволюцию, и то, какие именно ценности победят в итоге, во многом зависит от фундамента, закладываемого прямо сейчас. ### Инвестиции в будущее: стратегия сохранения ресурсов [[JUMP:1:46:44]] Один из центральных практических вопросов лонгтермизма — как именно мы можем эффективно передать ресурсы и влияние в далекое будущее. Обсуждая эту дилемму, спикеры поднимают важный вопрос: стоит ли тратить ресурсы на решение текущих проблем или лучше аккумулировать их для грядущих критических моментов? Макаскилл отмечает, что создание и масштабирование самого лонгтермистского движения — это уже ценнейший ресурс для цивилизации. Вместо того чтобы бездумно расходовать капитал на сиюминутные задачи, эффективные альтруисты могут придерживаться стратегии разумного сбережения, которая базируется на нескольких ключевых предпосылках: * Капитал и ресурсы, отложенные сегодня, могут быть использованы в моменты наивысшего этического рычага в будущем, когда ставки будут максимальными. * Создание устойчивых институтов и подготовка экспертов важнее быстрых и недальновидных тактических трат. * Исторические прецеденты, такие как борьба с тоталитарными режимами (сталинизмом и фашизмом) в XX веке, наглядно показывают, насколько критичной бывает своевременная концентрация ресурсов в переломные моменты истории. Безусловно, вопросы о том, являются ли текущие темпы экономического роста устойчивыми и можно ли считать наш век важнейшим в истории человечества, заслуживают отдельного глубокого анализа. Однако здесь Макаскилл призывает к прагматичной осторожности. Если вероятность уникальности нашего века не абсолютна, наиболее взвешенная стратегия заключается в том, чтобы сохранить и приумножить ресурсы для тех будущих поколений, которые столкнутся с подлинными точками бифуркации. ### Риск-аверсия как драйвер альтруистических приоритетов [[JUMP:1:50:05]] Склонность к избеганию рисков (**риск-аверсия**) коренным образом меняет приоритеты внутри сообщества. Переход от краткосрочных целей, таких как спасение конкретных жизней от излечимых болезней здесь и сейчас, к долгосрочным целям снижения глобальных угроз продиктован именно этим строгим расчетом. Когда мы оцениваем будущее в масштабах огромной, успешной Вселенной, любая ненулевая вероятность безвозвратной потери этого будущего перевешивает локальные выгоды. Хотя темы экзистенциальных катастроф и биорисков подробно разбираются в других главах, упомянутые в дискуссии расчеты Тоби Орда (Toby Ord) показывают, что вероятность негативных сценариев пугающе высока. С точки зрения риск-аверсии, даже если мы не до конца уверены в точных прогнозах, колоссальный масштаб потенциального будущего заставляет нас минимизировать риски его уничтожения. Исторический анализ, подкрепленный исследованиями Бена Гарфинкеля (Ben Garfinkel) и гипотезами Пола Кристиано (Paul Christiano) о специфике технологических сдвигов, демонстрирует, как быстро и непредсказуемо меняются уклады. В периоды радикальных перемен легко совершить ошибку, подобную выбору неоптимального стандарта технологий (как в хрестоматийном историческом споре видеоформатов Betamax и VHS). Чтобы не запереть человечество в деструктивном или тупиковом сценарии развития, сторонники лонгтермизма сознательно смещают фокус на долгосрочную безопасность, предотвращение биологических угроз и создание институтов защиты завтрашнего дня. ## 📊 От открытых вопросов к точным оценкам: эпистемология будущего [[JUMP:2:05:56]] ### Модели будущего и убывающая предельная отдача [[JUMP:2:05:56]] Человеческая история на протяжении огромного периода развивалась крайне постепенно: сначала на планете существовали только растения, затем появились животные, и лишь со временем человечество начало лавинообразно ускорять окружающие процессы. Промышленная революция ознаменовала качественный скачок в масштабах планеты. Однако экстраполяция этих трендов в грядущие века ставит перед исследователями сложнейшие методологические вопросы: будет ли развитие ускоряться, стагнировать или постепенно замедляться?. Ранее в разговоре собеседники уже затрагивали общие идеи лонгтермизма и риск-аверсии, но здесь **Уилл Макаскилл** предлагает взглянуть на проблему через призму строгих математических моделей. Главным сдерживающим фактором при долгосрочном планировании становится закон **убывающей предельной отдачи** (*diminishing marginal returns*). Когда мы направляем колоссальные ресурсы в отдалённое будущее, возникает закономерный вопрос: насколько эффективными окажутся лучшие из доступных нам инвестиционных возможностей?. Макаскилл отмечает, что за последний год его собственные взгляды претерпели изменения, вынуждая сместить априорные оценки под воздействием новых эмпирических данных. Бремя доказывания теперь лежит на тех, кто утверждает наличие конкретных высокоэффективных каналов для влияния на будущие эпохи. ### Парадокс готовности платить и калибровка вероятностей катастроф [[JUMP:2:16:56]] Оценка экзистенциальных угроз на горизонте ближайших 80 лет демонстрирует разницу в эпистемических подходах внутри экспертного сообщества. В то время как другие философы используют более высокие показатели, Уилл Макаскилл склонен оценивать общую вероятность глобального коллапса человечества несколько ниже — например, в районе 0,1% или около того. Роберт Виблин указывает на любопытный экономический парадокс, связанный с концепцией **«готовности платить»** (*willingness to pay*) за снижение рисков. В повседневной жизни люди демонстрируют высокую склонность к риску (*risk seeking*): они ежедневно водят автомобили, соглашаясь с ненулевой вероятностью аварии ради комфорта. Однако на государственном уровне принятие решений часто искажается: * Внутренние бюрократические стимулы ведомств превалируют над рациональным анализом угроз. * Государства совершают откровенно нелепые или деструктивные действия вместо системного масштабирования мер безопасности. * Существует огромный разрыв в пространстве вероятностей между теоретическими прогнозами экспертов и реальной практикой. Тем не менее, агрегированные прогнозы профессиональных аналитиков часто оказываются точнее оценок отдельных экспертов, что даёт надежду на выработку здравого смысла в вопросах глобальной безопасности. ### Границы катастрофических сценариев: от пандемий до устойчивости цивилизации [[JUMP:2:21:58]] Когда речь заходит о глобальных угрозах, важно разделять тотальное исчезновение человечества и масштабные, но преодолимые катастрофы. Макаскилл подчёркивает, что даже такие разрушительные события, как тотальная война, способная унести жизни 95% населения планеты, технически оставляют шансы на выживание и восстановление вида. При гипотетическом климатическом кризисе на Земле всё равно сохранятся регионы, вполне пригодные для поддержания цивилизации. Современное общество обладает развитыми технологиями, помогающими эффективно адаптироваться к жесткому давлению среды. Говоря о биологических угрозах, исследователи обращают внимание на текущее глобальное бремя болезней (*disease burden*). Огромную опасность представляет потенциальное появление штаммов, которые медицина не сможет лечить из-за отсутствия работающих антибиотиков. Ранее в интервью поднимался вопрос о том, является ли наше столетие уникальным по уровню угроз, и Макаскилл признаёт, что исторические оценки экзистенциального риска сейчас активно пересматриваются специалистами, приходящими в сферу практического анализа. ### Почему классические аргументы об угрозе ИИ требуют пересмотра [[JUMP:2:28:08]] Значительная часть дискуссий о будущем неизбежно сдвигается к технологическим факторам. Уилл Макаскилл делится своим критическим взглядом на известную книгу Стюарта Рассела *«Human Compatible»* («Совместимый с человеком»), признаваясь, что остался ею разочарован. По его мнению, многие традиционные аргументы, описывающие риски создания неуправляемых агентов, плохо соотносятся с тем, как на самом деле функционирует современное машинное обучение (*machine learning*). Вместо внезапного появления сверхразума из «чёрного ящика», развитие ИИ происходит итеративно: * Системы обучаются на конкретных эмпирических примерах, отвечая на простые вопросы уровня «Что такое кошка?». * Разработчики имеют возможность постепенно, шаг за шагом, наблюдать за тем, как именно программа выполняет свои задачи. * Любые отклонения в поведении агента становятся заметны задолго до критической фазы, что позволяет своевременно реагировать на них. Текущие модели демонстрируют постепенный, контролируемый прогресс, что позволяет частично дезавуировать умозрительные угрозы прошлых десятилетий. Таким образом, методологический подход к оценке будущего должен опираться не на абстрактную философию, а на строгую эмпирику текущих технологических реалий. ## 🌍 Гипотеза исключительного века: уникален ли наш исторический момент? [[JUMP:2:31:08]] ### Смена оптики: почему ИИ и технологическая сингулярность вызывают скепсис [[JUMP:2:33:14]] Уилл Макаскилл признается, что в последнее время его былая уверенность в абсолютной исключительности текущего момента заметно пошатнулась. Ранее в разговоре они касались концепции лонгтермизма и экзистенциальных рисков, однако сейчас философ смотрит на популярные аргументы Ника Бострома и Института исследования машинного интеллекта (MIRI) гораздо более сдержанно. Если прежде идея неминуемой технологической сингулярности казалась неоспоримой, то теперь Макаскилл признает, что аргументы в пользу скорого ИИ-апокалипсиса требуют серьезной демистификации и глубокого критического анализа. Ведущий Роберт Виблин описывает текущую позицию Макаскилла как «слегка разочарованную» (underwhelmed), с чем Уилл полностью соглашается. Макаскилл отмечает, что наши ожидания относительно скорого фундаментального перелома истории могут быть следствием когнитивных искажений. Безусловно, искусственный интеллект представляет собой колоссальную веху. Если представить масштаб мировой экономики и накопленного богатства, превышающего $250 триллионов, становится очевидно, что автоматизация способна полностью перекроить глобальные рынки. Но станет ли общий искусственный интеллект (AGI) тем самым уникальным вектором, который бесповоротно зафиксирует траекторию цивилизации? Макаскилл сомневается в неизбежности этого сценария. По его мнению, многие пугающие истории о захвате власти машинами напоминают скорее увлекательную научную фантастику, нежели строго доказанные гипотезы. Вполне вероятно, что мир окажется куда более устойчивым к приходу новых ИИ-систем, а их интеграция будет постепенной и контролируемой. ### Векторы долгосрочной фиксации: биология, демография и моральный «лок-ин» [[JUMP:2:37:32]] Если сместить ИИ с пьедестала единственной экзистенциальной угрозы, гипотеза «исключительного века» приобретает иное измерение. Макаскилл подчеркивает, что необратимая фиксация (lock-in) определенных ценностных систем или социальных институтов вполне возможна и без участия сверхразумных машин. На арену выходят другие мощные технологические и социальные факторы. Философ выделяет несколько альтернативных каналов влияния на далекое будущее: * Радикальное вмешательство в человеческую биологию, включая победу над процессами старения и значительное продление активной жизни, а также технологии направленного выбора личностных качеств и генетической селекции. * Риск долгосрочного идеологического и морального «лок-ина», способного на тысячелетия законсервировать случайные этические системы цивилизации. Сегодня нам кажется, что современные либеральные ценности естественны и стабильны, однако историческая перспектива заставляет в этом усомниться. Макаскилл напоминает, что социальный порядок большинства обществ охотников-собирателей был жестко иерархическим, а ценности менялись радикально в зависимости от внешних условий. В качестве современного примера демографических сдвигов он приводит религиозные тренды в США: высокая рождаемость в среде христианских фундаменталистов на фоне снижения популярности атеизма в долгосрочной перспективе может полностью переформатировать культуру страны уже в текущем столетии. Если одна из радикальных или догматичных идеологий зафиксирует свои позиции на глобальном уровне, человечество навсегда потеряет способность к свободному этическому поиску. ### Хрупкий мир великих держав и вызовы государственного управления [[JUMP:2:40:19]] Третий столп, на котором держится дискуссия об уникальности нашего времени, — это беспрецедентный период относительного спокойствия на мировой арене. Человечество уже прожило около 70 лет без прямых крупномасштабных столкновений великих держав. Уилл Макаскилл задается критическим вопросом: является ли это «длинное мирное затишье» результатом качественного улучшения международных институтов или же нам просто везло? В самом мрачном сценарии неосторожное и поспешное внедрение автономных систем в военную сферу может разрушить этот хрупкий баланс и спровоцировать глобальную катастрофу. Вместо того чтобы концентрироваться исключительно на предотвращении апокалиптических угроз, Макаскилл призывает сместить фокус внимания на качественное улучшение глобального управления (governance). Если наше столетие и обладает уникальным статусом, то именно потому, что мы стоим у истоков формирования долгосрочных институтов. Философ предостерегает эффективное альтруистическое сообщество (EA) от превращения в узконаправленное движение, зацикленное на одной лишь угрозе ИИ. Крайне важно сохранять разнообразие направлений (cause diversity) и оставаться открытыми для новых данных. Главное достижение текущего момента — это не изобретение идеальных технологий, а укоренение фундаментального этического инсайта: будущие поколения имеют значение, и мы обязаны учитывать их интересы при принятии сегодняшних решений. Макаскилл проводит аналогию с «популяцией основателей» (founding population). Мышление и базовые принципы текущего поколения закладывают траекторию, которая со временем масштабируется и укореняется. Именно поэтому этическая чистота, гибкость ума и готовность менять приоритеты так важны на текущем этапе развития человечества. ## 📈 Экономический рост будущего: Ждет ли цивилизацию новый фазовый переход? [[JUMP:2:59:37]] ### Технологический рывок или плато: Дилемма глобального ускорения [[JUMP:2:59:37]] Дискуссия вокруг темпов экономического роста неизбежно выводит нас на фундаментаческий вопрос: в какой точке исторического развития находится человечество и чего нам ожидать в ближайшие столетия? Рассматривая долгосрочные тренды, Уилл Макаскилл (Will MacAskill) указывает на то, что нынешние экономические показатели и модели не являются чем-то статичным или вечным. Общество привыкло обсуждать экономику через призму неолиберализма, однако в масштабе веков эти идеологические парадигмы быстро сменяют друг друга `[2:59:37]`. Именно поэтому формирование устойчивого долгосрочного взгляда на развитие академических и практических сообществ становится первоочередной задачей `[3:00:20]`. Если взглянуть на историю человечества, то на протяжении тысячелетий экономический рост был практически незаметен и близок к нулю, пока Промышленная революция не совершила колоссальный качественный скачок. Сегодня ключевой вопрос заключается в том, стоит ли нам ожидать очередного «сдвига фаз» в экономическом росте в ближайшем столетии. Макаскилл подчеркивает, что если ориентироваться исключительно на краткосрочные тренды и заботиться только о горизонте следующих десяти лет `[3:01:31]`, можно легко создать продукт, который попадет в списки бестселлеров `[3:01:44]`, но при этом полностью упустить из виду тектонические макроэкономические сдвиги. Потенциальный фазовый переход может направить мировую экономику по одной из двух принципиально разных траекторий: * **Сценарий взрывного гиперроста**: переход к экспоненциальному технологическому прогрессу (например, за счет автоматизации интеллектуального труда), при котором темпы роста мирового ВВП увеличатся на порядок. * **Сценарий глобального технологического плато**: постепенное исчерпание потенциала текущих инноваций и переход человечества в режим долгосрочной экономической стагнации. Ранее в разговоре собеседники уже затрагивали концепцию лонгтермизма и важность долгосрочной заботы о будущем, и именно этот подход позволяет адекватно оценить масштаб грядущих изменений. ### Закон убывающей отдачи и важность текущего исторического момента [[JUMP:3:04:20]] Важнейшим элементом анализа будущих экономических траекторий является понимание того, почему закон убывающей предельной отдачи не всегда работает линейно в периоды масштабных исторических трансформаций `[3:04:20]`. Уилл Макаскилл объясняет, что в развитии любых фундаментальных систем всегда существует первоначальный сложный период `[3:04:33]`. На этом этапе общество вынуждено нести огромные невозвратные издержки (sunk costs) на построение базовой инфраструктуры, проведение теоретических исследований и создание институтов `[3:05:03]`. Однако как только этот критический порог преодолен, характер распределения ресурсов и отдачи от них меняется коренным образом. Именно эта динамика объясняет исключительную важность текущего исторического момента. Хотя вопрос о том, является ли наш век важнейшим в истории цивилизации, подробно разбирался в предыдущей главе, экономические аргументы добавляют этому тезису строгое теоретическое обоснование. Мы находимся в уникальной исторической точке, где масштаб и вектор текущих инвестиций в науку и технологии определят траекторию развития на многие поколения вперед. Макаскилл отмечает, что даже в условиях высокой неопределенности он остается активным сторонником того, чтобы талантливые специалисты шли в новые, потенциально прорывные сферы и создавали интеллектуальную базу для будущего `[3:05:31]`. Неверный выбор приоритетов сегодня может привести к тому, что человечество надолго окажется в ловушке субстратегического застоя. ### Долгосрочное планирование против сиюминутных трендов [[JUMP:3:00:39]] Чтобы глобальная экономическая и социальная система смогла выйти на устойчивые, сбалансированные уровни (sustainable levels), требуется коренная перестройка механизмов планирования `[3:14:55]`. Макаскилл обращает внимание на то, что современному экспертному сообществу часто не хватает масштабного видения: людям психологически гораздо комфортнее мыслить короткими интервалами, оценивая успешность своей деятельности по неделям `[3:15:39]`. Однако подготовка к возможному экономическому сдвигу фаз требует совершенно иной оптики. В этом контексте академическая среда и традиционные интеллектуальные институты выступают важнейшим стабилизирующим фактором. В отличие от динамичного медийного пространства, академический мир движется подчеркнуто медленно `[3:01:06]`. Но именно эта инертность позволяет сохранять и верифицировать фундаментальные знания — наглядным примером служит то, что современные студенты и философы до сих пор детально изучают и перечитывают «Утилитаризм» Джона Стюарта Милля `[3:00:39]`. Глубокий теоретический анализ позволяет отличать временный информационный шум от долгосрочных цивилизационных трендов. Стоит добавить, что такие масштабные темы, как влияние искусственного интеллекта на глобальные риски, угрозы экзистенциальных катастроф, а также культура продуктивности и выгорания, детально рассматриваются в заключительной главе статьи. Тем не менее, надежный базис для управления этими вызовами формируется именно через стабилизацию и прогнозирование долгосрочных экономических траекторий, которыми человечество должно заниматься уже сегодня. ## 🚪 Устойчивое будущее: переосмысление рисков, ИИ и забота о сообществе [[JUMP:3:21:04]] ### Культура продуктивности: борьба с чувством вины и выгоранием [[JUMP:3:21:19]] В финальной части беседы Уилл Макаскилл и Роберт Виблин подходят к критически важному аспекту любого долгосрочного движения — к его внутренней культуре и психологическому климату. Внутри сообщества эффективного альтруизма (EA) долгое время существовала негласная, но ощутимая норма сверхпродуктивности. Стремление максимизировать общее благо и предотвратить глобальные катастрофы нередко обрачивалось для участников тяжелым эмоциональным грузом. Макаскилл обращает внимание на то, что постоянное чувство вины из-за «недостаточной» эффективности подрывает саму основу движения. Культура, построенная на самопожертвовании и бесконечном давлении, неизбежно ведет к выгоранию. Виблин отмечает, что для предотвращения внутренних трений и межличностных конфликтов членам сообщества необходимо простое человеческое общение, не связанное с работой. Иногда самое полезное, что можно сделать для общего дела — это просто провести время вместе, расслабиться и, например, выпить по бокалу пива. Такой подход позволяет сгладить острые углы и предотвратить накопление скрытого недовольства, когда люди начинают задаваться деструктивными вопросами о продуктивности друг друга. Создание устойчивой, поддерживающей среды становится ключевым приоритетом для ЕА-сообщества. Чтобы эффективно решать сложнейшие мировые проблемы в долгосрочной перспективе, необходимо отказаться от токсичных паттернов продуктивности и признать, что психологическое благополучие активистов и исследователей — это не роскошь, а базовое условие устойчивости всей системы. Ранее в разговоре собеседники уже затрагивали эволюцию приоритетов EA и вопросы карьерного выбора, но именно в финале они подчеркивают важность сохранения здоровой атмосферы внутри институтов. ### Пересмотр экзистенциальных угроз: от паники к консервативным оценкам [[JUMP:3:23:07]] Подводя итоги многолетних дискуссий вокруг долгосрочного планирования, Уилл Макаскилл предлагает пересмотреть устоявшиеся, зачастую излишне алармистские оценки экзистенциальных рисков. В начале развития этих концепций среди исследователей доминировали крайне тревожные прогнозы: вероятность вымирания человечества или необратимого коллапса цивилизации в XXI веке оценивалась некоторыми экспертами вплоть до катастрофических 20%. Однако по мере накопления данных и углубления методологии подходы стали более взвешенными. Современный консервативный анализ, который разделяет Макаскилл, предлагает гораздо более умеренные, но все еще требующие пристального внимания цифры — в диапазоне от 0.1% до 1%. Этот пересмотр оценок в сторону уменьшения не означает, что проблему можно игнорировать. Напротив, переход к более строгим математическим и эмпирическим моделям позволяет уйти от парализующего страха к прагматичному распределению ресурсов. Когда риски измеряются долями процента, а не пятой частью от всего будущего планеты, у исследователей появляется возможность формировать более точечные и долгосрочные стратегии защиты, избегая панических решений. Стоит отметить, что ранее в интервью собеседники подробно касались темпов экономического роста и гипотезы о том, является ли наш век важнейшим для человечества, что во многом объясняет логику этого пересмотра. ### Влияние искусственного интеллекта: за пределами простых сценариев апокалипсиса [[JUMP:3:23:48]] Одной из главных тем, вызывающих ожесточенные споры в контексте глобальных угроз, остается развитие искусственного интеллекта. Уилл Макаскилл предлагает критически взглянуть на популярные в медиа и некоторых интеллектуальных кругах аргументы в пользу «ИИ-апокалипсиса». Расхожие сценарии, в которых суперинтеллект внезапно выходит из-под контроля и уничтожает человечество ради выполнения простейшей задачи, часто оказываются слишком упрощенными и оторванными от реальности. Реалистичные угрозы, связанные с ИИ, гораздо сложнее и глубже, чем классические фантастические сюжеты о восстании машин. Макаскилл подчеркивает, что развитие технологий неотделимо от более широкого культурного и социального контекста, где ключевую роль играют институты, государственное регулирование и распределение сил в обществе. Чтобы проиллюстрировать этот тезис, спикеры предлагают взглянуть на историю. Например, период с 1870 по 1950 год продемонстрировал беспрецедентный технологический скачок, кардинально изменивший структуру глобальных рисков и международных отношений. Тем не менее, человечество адаптировалось через создание новых институтов безопасности. Вектор развития ИИ может быть относительно плавным в ближайшие десятилетия, что дает нам время на подготовку. Реальная опасность ИИ кроется не в гипотетическом «злобном разуме», а в конкретных системных вызовах: * Дестабилизация международных отношений и новая технологическая гонка вооружений. * Усиление авторитарных режимов через тотальный цифровой контроль и автоматизированный надзор. * Потеря человеческого контроля над сложными экономическими и социальными системами из-за чрезмерного делегирования решений алгоритмам. Разбор этих комплексных сценариев показывает, что защита от рисков ИИ требует не просто технических решений по безопасности кода, но и глубокой работы с социальными и политическими институтами. Завершая подкаст, Роберт Виблин напоминает слушателям, что обсуждение этих масштабных вызовов — лишь начало долгого пути, и многие сложнейшие проблемы еще только предстоит детально изучить.