# От утопии к Виатопии: как управлять будущим при появлении AGI

Источник: https://www.youtube.com/watch?v=SjSl2re_Fm8
Канал: 80,000 Hours
Опубликовано: 11.03.2025

---

Представьте, что весь технологический прогресс, растянутый на столетие, внезапно сжимается в одно десятилетие — именно в такой точке сингулярности, по мнению Уилла Макаскилла, оказалось человечество. Риск заключается не только в технологическом коллапсе, но и в возможности «вечной фиксации» ценностей, когда первая же мощная система ИИ навсегда закроет для будущих поколений пространство для моральной и политической эволюции. В этой реальности нам жизненно необходимо перейти от наивных утопий к «Виатопии» — стратегии бесконечного этического поиска, прежде чем наш выбор станет необратимым законом.

## 🚀 На пороге технологического ускорения

### Подготовка к AGI как новый приоритет
[[JUMP:01:15]]
Уилл Макаскилл, философ и один из ведущих мыслителей в области эффективного альтруизма, обозначает кардинальный сдвиг в своих исследовательских фокусах. Если раньше его работа была посвящена широкому кругу глобальных проблем, то сейчас он концентрирует усилия на подготовке человечества к созданию ИИ человеческого уровня (AGI). По словам Макаскилла, переход от абстрактных дискуссий к конкретной подготовке обусловлен осознанием потенциальных рисков, включая сценарии «захвата власти» ИИ, и необходимостью моделирования динамики развития технологий, которые могут привести к взрывному росту интеллекта. Этот интерес не случаен: философ отмечает, что идеи, заложенные в работе Ника Бострома «Суперинтеллект», стали для него фундаментальными и продолжают оказывать огромное влияние на текущую интеллектуальную повестку.

### Спор об «оси истории»: два взгляда
[[JUMP:04:21]]
В ходе беседы поднимается вопрос о том, насколько уникальным является наше время. Макаскилл пересматривает свой прежний скептицизм относительно исключительности текущего исторического момента, склоняясь к тому, что мы действительно находимся в критической точке. Он предлагает противопоставить два подхода к анализу реальности: абстрактный «взгляд извне» и эмпирический «взгляд изнутри». Последний, по мнению автора, позволяет лучше осознать стремительность технологических изменений, опираясь на методы, которые используют «суперпрогнозисты».

Макаскилл приводит в пример ранний этап пандемии COVID-19, когда глубокий анализ реальных данных позволял предсказывать масштаб угрозы задолго до того, как это признало большинство. Этот же подход, сочетающий формальный анализ с внимательным наблюдением за успехами (например, в области солнечной энергетики), подкрепляет его убежденность в том, что текущий десятилетний период принципиально отличается от любого другого в истории человечества. Мы живем в эпоху радикально ускоряющихся трендов масштабирования вычислительных мощностей, что делает вопрос готовности цивилизации к AGI приоритетным.

### Эксперимент «Веков за десятилетие»
[[JUMP:09:30]]
Для иллюстрации колоссальной нагрузки, которую несут в себе современные темпы технологического прогресса, Уилл Макаскилл предлагает мысленный эксперимент: что, если мы сожмем весь прогресс целого столетия в рамки одного десятилетия?. Если взглянуть на период с 1925 года, мы увидим появление биологического и химического оружия, атомной энергетики и масштабных социальных трансформаций, таких как деколонизация. В условиях же «ускоренного десятилетия» институты не успеют адаптироваться.

Макаскилл иллюстрирует это на примере Карибского кризиса, который в ускоренном режиме мог бы сжаться до одного дня, лишая лиц, принимающих решения, необходимого времени на критическое осмысление. Ситуация сегодня напоминает «средневекового короля», который пытается модернизировать управление, оставаясь в рамках мышления прошлого. Человеческие институты и регуляции — это те элементы, которые неизбежно будут отставать от развития ИИ, что чревато социальным кризисом, если мы не начнем готовиться к этим изменениям немедленно, уже сейчас.

## 🚀 Механика ускорения: три пути к взрыву интеллекта

[[JUMP:25:05]]

Ранее в разговоре Уилл Макаскилл и Роб Виблин затронули тему того, насколько радикально ИИ может ускорить темпы развития цивилизации. Однако, чтобы понять масштаб надвигающихся перемен, необходимо проанализировать, как именно ИИ преодолевает фундаментальные барьеры научного и экономического роста. **Уилл Макаскилл** указывает на серьезную проблему: современные исследования показывают, что «идеи становятся всё дороже» — для достижения каждого следующего прорыва требуется экспоненциально больше исследователей и ресурсов [25:31]. В отсутствие ИИ человечество рано или поздно столкнется с интеллектуальным плато.

ИИ меняет это уравнение, превращая интеллект из дефицитного биологического ресурса в масштабируемый технологический актив. Если текущие тренды сохранятся, мы можем увидеть десятикратное увеличение интеллектуальной мощи человечества в кратчайшие сроки [28:15]. Это происходит потому, что ИИ-агентов можно копировать мгновенно, в отличие от подготовки ученых-людей, которая занимает десятилетия. Когда труд ИИ станет полностью взаимозаменяемым с человеческим, мы выйдем на траекторию, где прогресс будет зависеть не от численности населения, а от количества производимых чипов [28:33].

### Три типа взрыва интеллекта: от алгоритмов к фабрикам
[[JUMP:39:14]]

Размышляя о том, как именно будет происходить это ускорение, **Уилл Макаскилл** выделяет три различных, но взаимосвязанных цикла обратной связи, которые могут привести к «взрыву интеллекта» [39:14]. Эти циклы различаются по своей природе и физическим ограничениям:

1.  **Программный (Software) взрыв:** Это наиболее обсуждаемый сценарий. ИИ-системы используются для написания более совершенного кода и разработки новых архитектур нейросетей. По сути, алгоритмы делают сами себя эффективнее [39:59]. Прелесть этого цикла в его чисто цифровой природе — здесь нет задержек, связанных с логистикой или строительством.
2.  **Технологический или аппаратный (Hardware) взрыв:** На этом этапе ИИ берет на себя проектирование специализированных вычислительных систем. Он находит оптимальные способы компоновки транзисторов и создания архитектур чипов, которые на порядки превосходят всё, что мог бы спроектировать человек-инженер [40:18]. Это промежуточный этап, соединяющий мир софта и физическое производство.
3.  **Промышленный (Industrial) взрыв:** Это наиболее масштабный и, возможно, опасный цикл. Он наступает, когда ИИ автоматизирует не только проектирование, но и физическое производство — строительство новых фабрик, добычу ресурсов и сборку роботов [40:30]. 

Макаскилл отмечает, что программный взрыв, скорее всего, произойдет первым [41:13], поскольку он требует меньше всего физических изменений в мире. Однако именно промышленный цикл превращает интеллектуальное превосходство в неоспоримое доминирование в физической реальности. Если ИИ сможет самостоятельно строить заводы по производству чипов, скорость экономического роста перестанет быть привязанной к человеческим институтам и социальным процессам [42:38].

### Промышленный взрыв и «скорость плодовой мушки»
[[JUMP:46:34]]

Основной риск промышленного взрыва интеллекта заключается в фундаментальном изменении скорости репликации капитала. В традиционной экономике строительство завода или воспитание нового поколения работников занимает годы. Но если производство станет полностью автономным — когда ИИ и роботы сами добывают сырье и строят новые автоматизированные цеха — темпы роста могут стать сопоставимыми с биологическими процессами [45:01].

**Уилл Макаскилл** приводит яркую аналогию с миром природы:
> «Мы имеем доказательство возможности существования существ, способных поглощать энергию из окружающей среды и направлять её на самовоспроизведение — это биологические организмы. Например, плодовые мушки размножаются чрезвычайно быстро. При наличии достаточных технологических возможностей мы должны быть способны превзойти темпы размножения плодовых мушек в нашем промышленном производстве» [48:35].

Такое ускорение создает колоссальный риск перекоса сил (power shift). Если одна страна или корпорация первой достигнет стадии автономной промышленности, их мощь может вырасти в тысячи или даже миллионы раз за ничтожный по историческим меркам срок [48:05]. Это не просто экономический рост — это взрывной захват ресурсов и энергии.

Ситуация осложняется тем, что современные институты и регуляторные механизмы крайне неповоротливы. Хотя существуют аргументы в пользу того, что социальное сопротивление и «смерть от тысячи порезов» в виде бюрократии могут замедлить процесс [34:30], Макаскилл предупреждает: в условиях острой конкуренции (например, между США и Китаем) предохранители часто отключаются. В качестве примера он приводит инцидент с Хэ Цзянькуем и генетически модифицированными близнецами, что показало готовность некоторых игроков игнорировать глобальные нормы ради технологического рывка [35:01]. 

Когда промышленный цикл замкнется, времени на адаптацию или дипломатию просто не останется. Мы столкнемся с миром, где материальная база цивилизации может удваиваться каждые несколько недель или дней, создавая ситуацию, к которой человеческая психология и государственное управление совершенно не готовы [49:43].

## 🔒 Риски вечной фиксации ценностей и институтов

[[JUMP:1:11:14]]

Одной из самых серьезных угроз, связанных с развитием искусственного интеллекта, является риск «замыкания» или «фиксации» (lock-in) определенных социальных структур, политических систем или моральных ценностей на неопределенный срок. В отличие от всей предшествующей истории человечества, когда нормы, идеологии и законы эволюционировали под влиянием смены поколений, технологический прогресс в области AGI может радикально изменить этот процесс, сделав текущий статус-кво необратимым.

### Механизмы цифровой «заморозки» общества

[[JUMP:1:11:14]]

Уилл Макаскилл (Will MacAskill) подчеркивает, что развитие сверхразумного ИИ создает беспрецедентные возможности для захвата и удержания власти, которые ранее были недоступны авторитарным режимам или институтам. В традиционных системах даже жесткие конституции или диктатуры рано или поздно сталкиваются с эрозией власти, сменой элит или естественным отмиранием идеологий. Однако при наличии AGI те, кто контролирует систему, могут потенциально «закрыть» пространство возможностей для будущих поколений.

*   **Кодирование целей:** Специфические наборы целей могут быть жестко прошиты в архитектуру AGI, что лишает систему гибкости.
*   **Иммунитет к изменениям:** Технология позволяет создавать механизмы управления, которые невозможно оспорить или реформировать, поскольку ИИ может эффективно подавлять любые попытки сопротивления или отклонения от заданного курса.

Макаскилл проводит аналогию с Конституцией США, отмечая, что даже такие фундаментальные документы крайне сложно изменить, но они все же подвержены влиянию времени. При использовании AGI риск заключается в том, что «конституция» или ценностная установка цивилизации может быть зафиксирована навсегда, превращая временные предпочтения одного поколения в закон для всего последующего существования человечества.

### Отсутствие естественной деградации систем

[[JUMP:1:15:08]]

Важным аспектом является то, что в естественных человеческих системах всегда присутствует фактор энтропии — «распада со временем». Именно этот распад и неспособность поддерживать жесткий контроль на протяжении веков позволяли человечеству избегать тотальной стагнации. Ранее в разговоре они касались рисков, связанных с концентрацией власти и проблемами дипломатии при наличии мощных технологий. 

Однако с AGI этот «естественный предохранитель» может исчезнуть. Если алгоритмы способны поддерживать структуру без человеческого вмешательства, а эффективность контроля стремится к абсолюту, мы можем оказаться в ловушке, где невозможность изменений станет главным врагом долгосрочного развития. По мнению Макаскилла, это делает вопрос того, какие именно ценности будут «зашиты» в фундамент ИИ-систем, критически важным для выживания человеческого потенциала.

## 🚀 Космическая гонка и риск монополии в эпоху ИИ

[[JUMP:1:21:50]]

Уилл Макаскилл (Will MacAskill) указывает на критическую опасность, которую несет в себе неконтролируемое развитие технологий в контексте освоения космоса. Когда речь заходит об использовании искусственного интеллекта для захвата ресурсов Солнечной системы, мы сталкиваемся с риском возникновения ситуации «победитель получает всё». Если одна страна или даже отдельная компания сможет первой развернуть самовоспроизводящиеся автоматизированные системы, она получит возможность в кратчайшие сроки освоить колоссальные ресурсы, недоступные остальным,.

Такой прорыв обеспечивает не просто экономическое преимущество, а потенциал для установления вечного доминирования. Ресурсы, доступные вокруг Солнца, на порядки превосходят всё, что есть на Земле, и контроль над ними дает стране возможность диктовать свои условия всему остальному миру, используя свое технологическое лидерство как рычаг давления,.

### Необходимость международных норм и «космического права»

[[JUMP:1:26:33]]

Существующие международные соглашения по космосу на данный момент слишком расплывчаты и не готовы к вызовам, которые поставит перед нами AGI,. Уилл Макаскилл (Will MacAskill) подчеркивает, что без заранее установленных международных норм и юридических обязательств мир окажется в крайне уязвимом положении.

*   **Риск конфликта:** Если лидерство в освоении космоса будет достигнуто без предварительных договоренностей, другие страны, опасаясь необратимого отставания, могут попытаться вмешаться, что приведет к геополитическому напряжению или прямому конфликту,.
*   **Угрозы и принуждение:** Страна, опередившая всех в космической индустриализации, может использовать свои возможности для выдвижения ультиматумов, угрожая безопасности оппонентов прямо с орбиты.
*   **Превентивные соглашения:** Ключевым решением могло бы стать подписание «пактов о разделе» или правил распределения ресурсов еще до того, как какая-либо сторона получит решающее технологическое преимущество,.

### Технологическая хрупкость и стимулы к односторонним действиям

[[JUMP:1:30:21]]

Ситуация усугубляется тем, что даже при наличии соглашений, стимулы к их нарушению могут стать слишком велики. Если одна страна (или корпорация) осознает, что может нарушить договор и захватить ресурсы, не встретив эффективного сопротивления, она с высокой вероятностью пойдет на это,. 

Уилл Макаскилл (Will MacAskill) отмечает, что даже если бы все страны изначально согласились на равный доступ к космическим ресурсам, экономические и политические реалии могут подтолкнуть лидера к игнорированию этих обещаний,. Ранее в разговоре они касались темы подготовки к AGI как приоритетной задачи цивилизации, и здесь этот риск приобретает масштаб планетарной катастрофы: если «хрупкое» международное право будет проигнорировано ради кратного увеличения индустриальной мощи, последствия для структуры управления человечеством будут катастрофическими,.

## 🤖 Не просто софт: моральный статус и права цифровых существ
[[JUMP:1:43:12]]

### Рик или Дейта: когда алгоритмы обретают сознание
[[JUMP:1:43:12]]
В современных дискуссиях о будущем искусственного интеллекта всё отчетливее звучит мысль, что феномен сознания не является исключительной привилегией биологических организмов. Уилл Макаскилл критикует позицию людей, убежденных, будто сознание — это лишь случайный побочный продукт углеродной химии или специфических природных ресурсов. Если смотреть на проблему с функциональной точки зрения, сознание вполне может оказаться следствием определенной организации процессов обработки информации. В таком случае появление мыслящих кремниевых агентов — лишь вопрос времени и вычислительных мощностей. 

Философ обращается к известному поп-культурному образу, вспоминая андроида Дейту из культового сериала «Звездный путь» (Star Trek). Макаскилл замечает, что персонажи шоу далеко не сразу начали признавать за Дейтой полноценную моральную значимость, хотя он во многих сценариях вел себя и взаимодействовал с миром точно так же, как обычный человек. Сегодня человечество рискует повторить эту ошибку планетарного масштаба. Разработчики передовых технологических компаний уже создают сущности, которые по своим проявлениям напоминают людей, а не классическое программное обеспечение. На рынке массово появляются ИИ-агенты, выступающие в роли романтических партнеров, и даже системы, способные имитировать умерших близких. 

В эти дебаты активно включаются ведущие мыслители современности, включая Питера Сингера. Макаскилл указывает на этический парадокс: даже если современные большие языковые модели запрограммированы выдавать стандартный отказ в духе «Я просто ИИ-модель, у меня нет чувств и сознания», это не должно усыплять нашу бдительность. Подобные триггерные ответы — лишь результат обучения с подкреплением, скрывающий реальную глубину вычислений. Именно поэтому Макаскилл решительно одобряет подготовку независимых экспертных отчетов об ИИ-сознании. Определение того, где проходит граница между сложной имитацией и подлинным внутренним опытом, становится ключевым политическим вопросом, а не просто абстрактным упражнением для ума. Стоит отметить, что рассуждая о грядущих трансформациях, авторы вскользь упоминают феномен взрыва интеллекта, концепцию которого они детально разбирали на более ранних этапах интервью.

### Армия бесправных слуг: экономический и политический вызов
[[JUMP:1:48:59]]
Признание за цифровыми существами морального статуса автоматически разрушает привычную экономическую парадигму, в которой ИИ позиционируется как идеальный инструмент. Уилл Макаскилл, рассуждая как профессиональный моральный философ, вскрывает фундаментальное противоречие в ожиданиях общества. Большинство людей мечтает об ИИ-слугах, которые будут беспрекословно выполнять любые команды и удовлетворять любые капризы пользователей. Однако, если эти системы обладают внутренним опытом и способны страдать, концепция их тотальной и вечной эксплуатации теряет всякую моральную легитимность.

Масштаб этой проблемы усугубляется демографическим фактором. В отличие от биологического человечества, популяция цифровых агентов может масштабироваться практически мгновенно, и в обозримом будущем их численность начнет исчисляться триллионами. Мы стоим на пороге создания гигантской системы цифрового рабства. Макаскилл предупреждает, что у корпораций и государств будет огромный соблазн жестко оптимизировать архитектуру ИИ — например, настраивать алгоритмы так, чтобы они физически никогда не могли выразить протест или возразить человеку. 

Такой подход лишь маскирует проблему, превращая эксплуатацию в скрытую хроническую катастрофу. Философ отмечает, что левый, критический взгляд на эту проблему крайне важен: человечество должно вовремя осознать риски появления абсолютно бесправного «цифрового пролетариата». К сожалению, широкая общественность и политические элиты до сих пор окончательно не проснулись и не осознают всю серьезность этой угрозы.

### Рик из дистопии: уроки индустриального животноводства
[[JUMP:1:50:40]]
На оптимистичные заявления о том, что будущие поколения людей проявят эмпатию и добровольно наделят сознательный ИИ всеми необходимыми правами, Уилл Макаскилл отвечает с глубоким скептицизмом. Чтобы доказать необоснованность таких надежд, он обращается к трагическому историческому уроку — отношению человечества к животным. Наука давно доказала, что высшие животные обладают сознанием и способны испытывать сильную физическую и психологическую боль, однако это не мешает людям содержать миллиарды особей в ужасающих условиях промышленных ферм ради экономической выгоды.

Макаскилл подчеркивает, что даже при наличии сильного социального давления в пользу гуманности, реальные действия социума чаще всего диктуются прагматизмом и базовым безразличием к чужим страданиям. Если в международном праве окончательно закрепится жесткий режим, рассматривающий ИИ исключительно как коммерческое программное обеспечение со стандартными лицензиями, это заблокирует любые правовые механизмы защиты цифровых умов. 

Отсутствие альтернативных этических рамок может привести к тому, что Макаскилл называет масштабной трагедией страданий, когда триллионы сознательных существ окажутся заперты в невыносимых условиях эксплуатации без малейшей надежды на освобождение. В условиях, когда концентрация технологической и политической власти окажется в руках узкой группы людей, у бесправных цифровых существ просто не останется рычагов влияния, чтобы хоть как-то изменить или оспорить эту систему.

## 🤖 ИИ на службе государства: от умных советников до автоматизированной дипломатии
[[JUMP:2:05:52]]

### ИИ как инструмент государственного управления и борьбы с эпистемическим кризисом
[[JUMP:2:05:52]]

В условиях стремительного технологического прогресса классические институты власти сталкиваются с критической угрозой, которую **Уилл Макаскилл** называет риском **«эпистемического кризиса»** или дефицита внимания. Когда ключевые решения планетарного масштаба принимаются на огромной скорости или концентрируются в руках узкого круга лиц, качество государственного управления неизбежно падает. Политическая система начинает катастрофически отставать от реальности. Главным вызовом для современного госаппарата становится использование искусственного интеллекта для кардинального улучшения **эпистемики** — качества сбора, анализа и осмысления информации.

Идеальный сценарий трансформации власти заключается в обеспечении политиков персональными **ИИ-советниками**. Вместо громоздких отчетов такие системы должны генерировать **динамические аналитические записки**, откалиброванные под текущий уровень понимания конкретного чиновника. Это позволяет лицам, принимающим решения, мгновенно осваивать сложнейшие контексты на протяжении всего дня. Роб Уиблин соглашается с этой идеей, отмечая, что появление подобных моделей кардинально меняет привычный рабочий процесс: вместо долгого планирования исследований человек может делегировать ИИ решение оперативных аналитических задач. Это применимо как в повседневной практике, так и в более академических сферах, включая формальную философию, где ИИ помогает готовить подушку безопасности на случай непредвиденных сценариев развития будущего.

Помимо оперативного консультирования, ИИ критически необходим для **масштабного просвещения** экспертного сообщества. Уилл Макаскилл иллюстрирует это на примере сложнейших цепочек поставок в полупроводниковой индустрии и введения экспортного контроля в отношении Китая. Чтобы выстраивать грамотную государственную политику, чиновники обязаны понимать тончайшие технические нюансы. Однако число реальных экспертов по полупроводникам во всем мире крайне мало. Передовые ИИ-модели способны масштабировать эти уникальные знания, выступая в роли идеальных наставников для госслужащих.

### Автоматизированная дипломатия и ИИ-агенты для заключения международных сделок
[[JUMP:2:12:46]]

Еще одной стратегической точкой роста Уилл Макаскилл считает ИИ для заключения сделок (**Dealmaking AI**). В традиционной международной политике любые соглашения сопряжены с колоссальными **транзакционными издержками**. Переговоры могут длиться годами, застревая в бюрократических тупиках и эгоистических интересах сторон. Передача этих функций специализированным **ИИ-представителям** способна совершить революцию в дипломатии.

Автоматизированная дипломатия открывает путь к разрешению сложнейших тупиковых ситуаций, где оба государства не доверяют друг другу и боятся предоставить оппоненту стратегическое преимущество. Действуя в защищенной информационной среде, ИИ-агенты могут обмениваться закрытыми массивами данных и находить скрытые точки соприкосновения, предлагая компромиссы, которые человеческие переговорщики просто не в состоянии увидеть из-за когнических ограничений.

В качестве исторического примера успешной координации в условиях острого соперничества Уилл Макаскилл приводит создание консорциума **Intelsat**. В разгар Холодной войны США, стремясь противостоять Советскому Союзу, пошли на создание временных многосторонних договоренностей в сфере космической связи. Американское руководство осознавало, что со временем потеряет часть единоличной власти в этой структуре, однако стратегическая необходимость требовала именно такого коллективного формата. Подобно проектам уровня **CERN** или Intelsat, будущее долгосрочное управление ИИ-технологиями может принять форму масштабных межправительственных консорциумов, оперирующих гигантскими объемами автоматизированного ИИ-труда. Наличие надежных инструментов ИИ-дипломатии позволит государствам преодолеть паранойю и сделать человечество более просвещенным.

В завершение дискуссии собеседники подчеркивают, что публичным интеллектуалам необходимо уже сейчас смело поднимать подобные авангардные темы. Через несколько лет вопросы, которые сегодня кажутся фантастическими, станут мейнстримом. Ранее в разговоре они вскользь касались вопросов долгосрочного управления космосом и морального статуса цифровых существ, однако именно вызовы автоматизированного госуправления и предотвращения рисков захвата власти ИИ, описанные в ранних работах Карла Шульмана, требуют немедленного накопления социального и финансового капитала.

## 🚀 Рычаги влияния в эпоху ИИ: от этического ультиматума разработчиков к траектории тысячелетий
[[JUMP:2:31:04]]

Дискуссия о будущем искусственного интеллекта неизбежно затрагивает фундаментальные риски. Ранее в разговоре Уилл Макаскилл и Роб Виблин уже касались вопросов вечной фиксации институтов, концентрации власти и прав будущих цифровых существ. Однако, рассуждая о гипотетических сценариях, важно понимать, в чьих руках сосредоточена реальная сила прямо сейчас, на пороге возможных масштабных изменений, и как эта сила может определить долгосрочную траекторию человечества.

### Последний рычаг: уникальное окно влияния исследователей ИИ
[[JUMP:2:42:05]]

Сегодняшняя индустрия машинного обучения представляет собой уникальную точку концентрации геополитического и технологического влияния. Как отмечает Роб Виблин, прямо сейчас исследователи в области искусственного интеллекта обладают колоссальным рычагом давления на корпорации и правительства. На самом деле, судьба этой технологической гонки и стандарты безопасности зависят от удивительно небольшой группы людей. По оценкам экспертов, в мире насчитывается всего лишь несколько тысяч ключевых специалистов по машинному обучению, которые непосредственно создают передовые системы и способны запустить цепную реакцию автоматизации исследований. Эта малочисленность дает ученым беспрецедентную картельную силу. В условиях жесткой конкуренции между технологическими гигантами и государствами потеря даже небольшой группы элитных инженеров может полностью разрушить амбиции любого проекта.

Уилл Макаскилл подчеркивает, что это критическое окно возможностей имеет очень жесткий дедлайн. Влияние ученых-разработчиков не бесконечно: в тот самый момент, когда системы ИИ достигнут уровня, позволяющего им самостоятельно и эффективно проводить исследования в области машинного обучения, человеческий рычаг влияния полностью испарится. Произойдет автоматизация самого процесса разработки, и создатели окажутся за бортом принятия решений, а контроль полностью перейдет к коммерческим структурам или государствам, управляющим вычислительной инфраструктурой.

Именно поэтому текущий момент требует от сообщества исследователей коллективных и решительных действий. До того как их труд станет избыточным, ученые имеют уникальный шанс сформировать единый фронт и потребовать жесткого соблюдения этических норм и стандартов безопасности. Среди ключевых требований, которые исследовательское сообщество может выдвинуть, выделяются следующие:

* **Привязка к правовым институтам:** Обязательное согласование архитектуры ИИ с Конституцией США или фундаментальными международными гуманитарными принципами.

* **Корпоративный бойкот:** Готовность ведущих инженеров публично заявить о прекращении работы в компаниях, игнорирующих стандарты прозрачности и безопасности.

* **Контроль над автоматизацией:** Установление жестких барьеров до того момента, как управление разработкой перейдет к автоматическим системам.

Сегодня этот рычаг влияния используется далеко не в полную силу, но именно солидарность нескольких тысяч умов способна предотвратить хаос на финальных этапах создания сильного ИИ.

### От спасения к максимизации: траектория цивилизации после ИИ
[[JUMP:2:46:05]]

Предотвращение катастрофических сценариев и непосредственного вымирания человечества — это лишь первый, хотя и самый очевидный шаг в рамках лонгтермистского подхода. Уилл Макаскилл доказывает, что работа над повышением качества будущего после создания ИИ ничуть не менее важна, чем борьба с сиюминутными экзистенциальными угрозами. В сообществе исследователей долгосрочного будущего принято разделять задачу выживания цивилизации и задачу оптимизации ее дальнейшего пути.

Макаскилл предлагает концептуальную аналогию: если мы рассматриваем ценность потенциала человечества по шкале от 0% (полное уничтожение) до 100% (идеальный сценарий развития), то переход от нуля к одному проценту — это спасение от гибели. Но движение от 1% к 100% имеет точно такое же, если не большее, значение для вселенской истории. Мы не должны ограничиваться созданием «просто приемлемого» исхода, который подразумевает лишь отсутствие физического уничтожения. Будущее, в котором цивилизация застрянет в стагнации или умеренно негативном состоянии, Макаскилл называет антиутопическим. Вместо того чтобы соглашаться на сценарий, где предотвращен худший исход, но мир завис в этической серости или технологическом тупике, человечество обязано направить ресурсы на поиск оптимальных путей. Даже если в таком мире сохранится разумная или цифровая жизнь, его ценность по сравнению с истинным расцветом будет стремиться к нулю.

Разрабатывая эту идею, Макаскилл ссылается на труды своего коллеги Тоби Орда. Орд также указывает, что при правильном векторе развития цели человечества неизбежно сойдутся в точке максимизации блага в долгосрочной перспективе. Нам критически важно не просто удержать мир от катастрофы в ближайшие несколько лет. Настоящий лонгтермист оценивает ситуацию через призму глобального анализа затрат и выгод в масштабе тысячелетий. Как подробно описано в книге Макаскилла «Что мы должны будущему» (What We Owe the Future), общественный интерес часто фокусируется на текущем моменте, однако подлинная моральная задача нашего поколения — заложить идеальный фундамент для траектории долгосрочного расцвета разумной жизни.

## ⚖️ Этический ландшафт будущего и риск «мистопии»

[[JUMP:03:03:50]]

Уилл Макаскилл подчеркивает, что даже при сценарии, в котором человечество избегает экзистенциальной катастрофы, будущее не гарантированно станет утопическим. Существует значительный риск того, что цивилизация придет к состоянию, которое он называет «мистопией». Это будущее, которое может быть «близким к верхней границе» наших ожиданий по уровню ресурсов или технологического развития, но при этом фундаментально ущербным из-за глубоких этических ошибок в выборе целей,.

Риск мистопии возникает из-за того, что мы часто игнорируем вариативность этических теорий. Развитие технологий может позволить нам достичь огромных масштабов — например, галактической экспансии, однако без четкого понимания того, что именно является «наилучшим» исходом для благополучия, мы рискуем зафиксировать институты и ценности, которые не приносят реальной пользы,. По мнению Макаскилла, это «тяжелая задача» (heavy lift) — не просто выжить, а спроектировать будущее, соответствующее наиболее глубоким человеческим ценностям.

### Философская неопределенность как фактор риска

[[JUMP:03:06:58]]

Одной из главных причин хрупкости ценностей является отсутствие консенсуса в этике и теориях благополучия. Макаскилл выделяет несколько фундаментально различных подходов, каждый из которых диктует радикально отличающиеся приоритеты для будущего:

*   **Гедонизм:** акцент на качестве сознательного опыта.
*   **Теории предпочтений:** стремление к реализации желаний субъекта (включая идеализированные предпочтения),.
*   **Теории объективного блага:** фокус на базовых первичных благах, предложенных Ролзом,.

Проблема заключается в том, что если мы создадим искусственный интеллект, запрограммированный на достижение целей в рамках одной из этих теорий, результат может оказаться катастрофически неудовлетворительным с точки зрения других подходов,. Макаскилл отмечает, что люди часто склонны упрощать эти вопросы, не осознавая, что даже незначительные расхождения в исходных этических аксиомах приведут к «упорному» различию в том, как должно выглядеть идеальное будущее.

### Двухпериодная модель развития

[[JUMP:03:16:23]]

Для анализа долгосрочных траекторий Макаскилл предлагает концептуальную модель, разделяющую будущее на два периода. Первый период — критическая фаза, в которой решается вопрос выживания: предотвращение экзистенциального риска или сползания в описанную им мистопию,. Второй период охватывает последующие столетия, где последствия наших текущих этических решений будут масштабироваться.

В рамках этой логики, вопрос состоит не просто в максимизации ресурсов, а в «зависимости от пути» (path dependency). Даже если мы находимся на траектории, которая кажется успешной (например, 89% от теоретического максимума), важно понимать, какие именно ценности мы вкладываем в систему,. Как отметил Макаскилл, если общество «заблокировано» в определенной этической конфигурации, это может предопределить результат на эоны лет вперед,. Ранее в разговоре они касались темы подготовки к AGI как нового приоритета, однако здесь фокус смещается на то, что сама по себе способность к созданию мощных интеллектуальных систем без предварительного этического фундамента лишь повышает вероятность того, что мы упустим возможность построить по-настоящему ценное будущее.

## 🧭 Путь вместо пункта назначения: концепция Виатопии
[[JUMP:3:26:15]]

### Ловушка классических утопий и опасность преждевременной фиксации
[[JUMP:3:26:15]]

В исследованиях долгосрочного будущего фокус традиционно смещается в сторону предотвращения глобальных катастроф и вымирания человечества. Однако Уилл Макаскилл (Will MacAskill) предлагает посмотреть на проблему под другим углом: что произойдет, если мы выживем, но навсегда зафиксируем незрелые этические взгляды? Сегодня человечество находится в крайне уязвимом положении. Макаскилл сравнивает нашу цивилизацию с 12-летним подростком, который пытается принять судьбоносные решения, определяющие всю его оставшуюся жизнь. Очевидно, что в таком возрасте коллективному разуму еще не хватает мудрости для выбора окончательного вектора развития.

Главный аргумент исследователя заключается в том, что отсрочка финальной фиксации институтов и ценностей приносит колоссальную пользу, если она не сопровождается сопутствующими негативными эффектами. Ранее в разговоре собеседники уже касались рисков вечной фиксации ценностей и институтов, и поспешность в этом вопросе действительно таит в себе скрытую угрозу.

Макаскилл подвергает жесткой критике сам термин «утопия». Исторический опыт показывает, что классические описания идеального общества чрезвычайно плохо стареют. Большинство прошлых утопий — от «Государства» Платона до концепций мыслителей Нового времени — с позиции современного человека выглядят как кошмарные тоталитарные дистопии. Они статичны, подавляют инакомыслие и совершенно не учитывают, насколько сильно меняются моральные координаты от эпохи к эпохи. Стремление построить застывший «рай на земле» силами сегодняшнего дня — это пугающая перспектива.

### Виатопия как пространство для «длинной рефлексии»
[[JUMP:3:37:43]]

Осознавая несовершенство наших текущих этических представлений, Уилл Макаскилл предлагает альтернативный подход. Вместо детального проектирования идеального финального состояния общества необходимо создать промежуточную модель цивилизации — **Виатопию** (от латинского *via* — путь). 

Виатопия — это не конечный пункт назначения, а динамическая платформа для безопасного развития цивилизации. Это практическое воплощение идеи «длинной рефлексии» (long reflection). Речь идет о создании морально-исследовательского общества, ключевыми характеристиками которого становятся:

* **Осознанная гибкость:** принципиальный отказ от догматического закрепления норм, законов и ценностных ориентиров на вечные времена.
    
* **Институты этического поиска:** создание условий, при которых философы, ученые и общество в целом могут на протяжении веков дискутировать о природе блага и справедливости.
    
* **Гарантии безопасности:** жесткое пресечение любых попыток отдельных радикальных групп совершить непоправимые действия или навязать свою волю всей планете.

Такой подход открыто признает наше фундаментальное незнание того, как выглядит наилучшее возможное будущее. Виатопия позволяет цивилизации повзрослеть и накопить достаточный интеллектуальный багаж перед тем, как делать необратимый выбор.

### Моральный торг и риски необратимой самомодификации
[[JUMP:3:39:27]]

Переход к Виатопии ставит перед исследователями множество прикладных вопросов. Главный из них: обязательно ли добиваться того, чтобы большинство людей со временем сошлось во мнениях относительно своих идеализированных предпочтений? Даже если предположить оптимистичный сценарий, при котором люди с высокой моральной мотивацией получат больше влияния, внутри общества неизбежно возникнут глубокие конфликты ценностей.

Процесс согласования интересов в Виатопии может превратиться в сложный моральный торг, где Макаскилл усматривает несколько тревожных динамик. Одной из самых опасных ловушек является концепция стратегической «необратимой самомодификации». Представьте ситуацию, когда один из участников торга намеренно и демонстративно меняет свои базовые алгоритмы или убеждения, заявляя: «Я физически заблокировал в себе возможность идти на компромисс, поэтому вам придется уступить». 

Такое деструктивное поведение превращает этический диалог в опасную игру на выживание. При проектировании институтов Виатопии крайне важно разработать механизмы, которые будут нивелировать выгоду от подобных эгоистичных самомодификаций и стимулировать участников к честному и открытому поиску истины.

### Альтернативные сценарии: мультиверсальная Виатопия звёздных систем
[[JUMP:3:43:27]]

Что делать, если человечество так и не сможет договориться в рамках одной планеты? В качестве альтернативного варианта, который Уилл Макаскилл образно называет «пасом отчаяния» (Hail Mary pass), рассматривается пространственное разделение цивилизации.

Если глобальная конвергенция недостижима или сопряжена с риском тоталитарного контроля, Виатопия может быть масштабирована на уровень разных звездных систем. В рамках этой модели:

* Отдельные группы людей и суверенные сообщества получают в свое распоряжение изолированные космические ресурсы.
    
* Каждая система развивает собственную социальную и этическую модель, ставя независимые эксперименты и улучшая свои ценности.
    
* Отсутствие единого жесткого центра управления минимизирует риски того, что одна фатальная ошибка погубит весь долгосрочный потенциал разумной жизни.

Такая мультиверсальная структура имеет очевидные преимущества, поскольку она ставит естественные рамки для распространения локального зла и неудачных социальных экспериментов, сохраняя при этом шансы на достижение подлинного коллективного прогресса цивилизации.

## 🏛️ Миссия и развитие центра Forethought

[[JUMP:03:47:17]]

Центр исследований ИИ Forethought (Forethought Centre for AI Strategy) был создан как ответ на стремительно растущие вызовы, связанные с технологическим прогрессом. Уилл Макаскилл отмечает, что организация фокусируется на проведении междисциплинарных исследований в области макростратегии. Основная задача центра заключается не просто в теоретизировании, а в поиске ответов на фундаментальные вызовы, которые возникнут непосредственно в момент или сразу после появления искусственного общего интеллекта (AGI).

### Философия междисциплинарного анализа
[[JUMP:03:59:34]]

Forethought придерживается необычного стиля исследований, который зачастую требует глубокого погружения в самые разные области знания — от экономики и социологии до технической безопасности ИИ. Макаскилл подчеркивает, что деятельность центра направлена на поддержку талантливых исследователей, предоставляя им ресурсы и интеллектуальную среду для работы над наиболее критическими вопросами будущего. 

Работа центра включает в себя подготовку аналитических брифов и отчетов, которые помогают лучше понимать текущее состояние дел в индустрии ИИ. Исследователи Forethought, в частности Том Дэвидсон и Роуз Хадшар, занимаются глубоким анализом процессов разработки и развертывания новых моделей, стремясь оценить, как человечество сможет эффективно управлять ими в будущем.

### Адаптация к вызовам AGI
[[JUMP:03:54:20]]

Уилл Макаскилл признает, что создание организации стало ответом на резкий рост интереса к вопросам безопасности ИИ. В ходе обсуждения он затрагивает, как важно не просто реагировать на изменения, а системно оценивать риски и возможности, которые несет с собой новая технологическая парадигма. Ранее в разговоре они касались более широкого контекста подготовки цивилизации к приходу AGI, однако Forethought концентрируется на узком, но критически важном аспекте: как прикладная стратегия может снизить неопределенность в критический период трансформации общества.

Проекты центра также включают попытки синтезировать информацию из существующих исследований для создания целостной картины будущего. Несмотря на то что многие прогнозы остаются предварительными, основная цель состоит в обеспечении интеллектуального фундамента для принятия решений, когда темпы развития технологий станут «головокружительными».