В новом эпизоде подкаста Брайана Китинга известный шведский философ и профессор Оксфордского университета Ник Бостром представляет свою новую книгу «Глубокая утопия» (Deep Utopia: Life and Meaning in a Solved World). Собеседники исследуют фундаментальные вопросы человеческого существования в гипотетическом будущем, где искусственный интеллект полностью решит все экономические и практические проблемы. Дискуссия разворачивает перед слушателем панораму этических, технологических и экзистенциальных вызовов, с которыми столкнётся цивилизация на этапе технологической зрелости.
📚 О книге «Глубокая утопия» и её необычной обложке 1:17
Разговор начинается с традиционной для подкаста Брайана Китинга оценки книги по её обложке. Ведущий с иронией зачитывает официальный пресс-релиз агентства 4A, составленный Джессикой Пелан и ассистенткой Эмили, где Ник Бостром характеризуется как самый цитируемый профессиональный философ в мире в возрасте до 50 лет, чьи труды переведены более чем на 30 языков. Книга выпущена издательством Idea Press Publishing и отличается плотным, качественным переплётом.
По словам Ника Бострома, термин «глубокая» утопия призван отделить его работу от классических утопических проектов прошлого. Традиционно авторы подобных концепций предлагали конкретные схемы устройства общества, политических систем или экономических моделей. Книга гостя исследует принципиально иную ситуацию — так называемый «решённый мир» (solved world), где благодаря суперинтеллекту и робототехнике все практические и материальные потребности человечества будут полностью удовлетворены.
Ник Бостром делится историей создания обложки, которую он разработал самостоятельно. В ходе предварительного опроса аудитория проголосовала за другой вариант, однако автор сознательно пошёл наперекор мнению большинства. По его мнению, обычным людям было трудно оценить дизайн со снеговиком, не зная содержания философского трактата. Гость подчёркивает, что итоговая обложка лучше всего отражает игровой, многослойный дух самого произведения.
По словам автора, структура книги включает в себя три переплетённых элемента:
- Курс лекций, которые читает вымышленная версия профессора Бострома.
- Обязательное чтение для слушателей — притча «Послания лиса Фодора и его друга поросенка Пинуса».
- Диалоги студентов, которые обсуждают услышанное после лекций и иронизируют над профессором.
📉 Исторические неудачи утопий и человеческий фактор 6:00
Брайан Китинг напоминает о крайне слабой исторической репутации утопических экспериментов. Он приводит в пример социалистическую общину Онайда в штате Нью-Йорк с её практикой «сложного брака», которая распалась из-за внутренней борьбы за власть, а также большевистскую утопию СССР, переросшую в десятилетия авторитарного правления. В список трагических провалов ведущий включает деструктивный культ «Храм народов» в Джонстауне, приведший в 1978 году к массовому убийству и самоубийству 900 человек, и чисто научный эксперимент «Биосфера-2» в Аризоне, который потерпел неудачу из-за падения уровня кислорода и психологических конфликтов внутри команды.
Опираясь на байесовское мышление, Брайан Китинг задаётся вопросом: насколько вообще высока вероятность построения технологической утопии, если естественная глупость людей до сих пор рушила любые подобные начинания? Ник Бостром соглашается, что исторический опыт человечества выглядит удручающе, хотя и отмечает, что создание США изначально тоже можно рассматривать как относительно успешный утопический эксперимент, основанный на идеях конституционных свобод.
Главную проблему прошлых неудач Ник Бостром видит в попытках жестко навязать готовые идеологические шаблоны силой. По его мнению, когда детально прописанный «план идеального общества» принудительно внедряется среди несогласного населения, это неизменно оборачивается катастрофой — от общего упадка до геноцида.
Гость также указывает на любопытный феномен человеческого восприятия: в культуре и литературе антиутопии вроде «О дивный новый мир», «1984» или «Рассказ служанки» пользуются огромной популярностью, тогда как классические утопии часто кажутся приторными, скучными или пугающе монокультурными. Как считает философ, человеческому воображению крайне трудно детально представить радикально изменённый и при этом привлекательный мир. Нам легко согласиться с точечным улучшением, например, с полным уничтожением детской лейкемии, но по мере накопления благ картинка быстро блекнет и теряет смысл.
🤖 Жизнь в «решённом мире»: автоматизация и исчезновение труда 11:46
В своей книге философ описывает различные социальные «шаблоны досуга» (templates of otium), анализируя статус детей, аристократов в странах Персидского залива, богемы, монахов и пенсионеров. Отдельное внимание собеседники уделяют положению студентов. Брайан Китинг цитирует автора, отмечая, что учёба сегодня выступает аналогом работы с отложенным вознаграждением: студенты имеют низкий доход, но обладают высоким социальным статусом. Ведущий иронизирует, что модель высшего образования почти не изменилась с 1080 года, со времен основания Болонского университета, где преподаватель так же стоял перед аудиторией.
Описывая концепцию «технологической зрелости», Ник Бостром утверждает, что в таком состоянии продвинутый ИИ заменит человеческий мозг, а роботы — тела. Результатом станет тотальная экономическая безработица. Людям больше не потребуется выполнять какую-либо оплачиваемую работу ради выживания.
Более того, по прогнозу гостя, исчезнет необходимость и во многих инструментальных действиях. Сегодня люди ходят в спортзал, чтобы поддерживать форму, или инвестируют время в друзей, чтобы помочь им в трудную минуту. Философ предполагает, что при технологической зрелости поддержание здоровья сведётся к приёму специальной таблетки, имитирующей все физиологические эффекты упражнений.
Это подводит к главному вопросу исследования Ника Бострома: что наполнит смыслом человеческое существование, если машины будут делать абсолютно всё лучше нас? Сюда относится и собственная профессия гостя — машины превзойдут человека даже в философии и творчестве.
По мнению Бострома, суперинтеллект является обязательным условием технологической зрелости. Чисто теоретически можно представить автоматизацию всех процессов силами людей-программистов на протяжении миллионов лет, но на практике создание универсальной мыслящей машины видится гораздо более быстрым и реалистичным путём.
🌌 Космическая экспансия и преодоление пределов роста 17:33
Брайан Китинг напоминает о знаменитом докладе Римского клуба «Пределы роста» (1972 год), где моделировался коллапс цивилизации из-за истощения ресурсов и перенаселения. Как астрофизик, ведущий замечает, что человечество всё ещё заперто на одной планете и бесконечно далеко от создания сферы Дайсона, предложенной Фрименом Дайсоном.
Ник Бостром выражает оптимизм относительно ресурсного потенциала. По его оценкам, физические пределы Земли и объём поступающей солнечной энергии оставляют огромный простор для развития. Философ убеждён, что технологически зрелая цивилизация технически способна реализовать масштабную космическую экспансию. Проекты межзвёздных зондов фон Неймана и тех же сфер Дайсона полностью согласуются с известными законами физики.
Тем не менее в «Глубокой утопии» автор сознательно уходит от количественных масштабов и триллионов потенциальных жителей Галактики. Его интересует качественная траектория жизни отдельного человека.
Философ предлагает подумать, как изменится наше развитие, если убрать бедность, болезни, несправедливость и раздвинуть привычные границы жизни в 70–80 лет. По мнению Бострома, ключевой задачей станет гармоничное сосуществование и пересечение жизненных путей биологических людей, цифровых умов и, возможно, даже генетически «возвышенных» (uplifted) животных.
🧠 Эйнштейн в силиконе и философия «ускорителя ценностей» 21:18
Вспоминаются тезисы их первой беседы в августе 2022 года. Тогда Брайан Китинг приводил слова Альберта Эйнштейна о том, что его самой счастливой мыслью в жизни было озарение о состоянии свободного падения. Ведущий вновь высказывает скепсис: может ли кремниевая или квантовая копия разума испытывать «счастливую мысль» без наличия физического тела и биологических сенсоров? Китинг считает, что истинным тестом Тюринга для ИИ должно стать открытие принципиально новых законов физики.
Ник Бостром категорически не согласен с таким критерием. Он резонно замечает, что планка открытия новых физических законов отсеивает подавляющее большинство людей, которых мы, тем не менее, считаем разумными. Гость впечатлён темпами развития больших языковых моделей и полагает, что человечество уже может находиться на ранней стадии «взрыва интеллекта». Философ в шутку признаётся, что долго писал книгу и всерьёз опасался, что она выйдет уже после наступления технологической Сингулярности.
Свои философские мысленные эксперименты Ник Бостром сравнивает с работой ускорителя элементарных частиц. Моделируя экстремальные гипотетические условия, исследователь «сталкивает» человеческие ценности, чтобы разбить их на базовые составляющие — точно так же, как физики изучают кварки. В обычной жизни эти базовые элементы скрыты за рутиной и борьбой за выживание.
Гость отмечает, что сам использует современные нейросети лишь для выполнения мелких повседневных задач. Главной ошибкой обывателей Ник Бостром называет оценку потенциала технологии по её текущему срезу (например, по возможностям GPT-4). По мнению философа, необходимо смотреть туда, куда «летит шайба», поскольку через несколько лет ИИ-системы станут несравнимо умнее.
💻 Гипотеза симуляции и новые теологические резонансы 28:40
Собеседники подробно останавливаются на знаменитой гипотезе симуляции Ника Бострома, согласно которой наш мир является виртуальной реальностью, созданной развитой цивилизацией. Автор напоминает структуру своего классического трилеммного аргумента, утверждающего, что истинным является как минимум одно из трех положений:
- Человечество вымрет до того, как достигнет технологической зрелости.
- Все зрелые цивилизации по этическим или иным причинам синхронно откажутся от запуска симуляций предков.
- Мы уже живем внутри компьютерной матрицы.
Гость объясняет, как эта теория пересекается с концепцией утопии. Очевидно, что судьба симулируемых полностью зависит от создателей платформы, обладающих аналогом «суперпользовательского доступа» (root access). Они могут в любой момент мгновенно переместить нас в идеальный мир или просто выключить питание.
По мнению Бострома, факт нахождения в симуляции снижает индивидуальную каузальную (причинную) значимость наших поступков, так как нам приходится делить ответственность с программистами. Теряется и уникальность опыта: если симуляция запускалась многократно, то похожие жизни уже проживались кем-то ранее. Этот феномен Брайан Китинг в шутку называет «проблемой Кардашьян».
Ведущий вспоминает свои прошлые дебаты с Беном Шапиро, который утверждал, что гипотеза симуляции — это просто ребрендинг классической религии, где место всемогущего Бога занял программист. Ник Бостром частично соглашается с наличием глубоких теологических параллелей.
Однако он подчёркивает принципиальное различие: его аргумент стартует с чисто материалистических научных позиций и теории вероятностей, не требуя веры в сверхъестественное. При этом архитектор симуляции действительно приобретает черты божества — он сверхумён и способен вмешиваться в процессы, нарушая привычные нам законы физики на программном уровне.
🔒 Проблема выравнивания ИИ и угроза «цифрового замка» 38:50
Касаясь темы безопасности, Ник Бостром констатирует, что окончательного решения проблемы выравнивания (alignment problem) ИИ пока не существует. Нынешние модели уже влияют на общество, но ещё не несут прямой экзистенциальной угрозы выживанию нашего вида.
Философ отмечает колоссальный сдвиг в общественном сознании. В 2014 году, когда вышла его прорывная книга «Суперинтеллект», академическое сообщество отмахивалось от этой темы как от научной фантастики. Сегодня же такие лаборатории, как OpenAI, Anthropic и Google DeepMind, содержат огромные штаты специалистов, бьющихся над безопасностью систем.
Гость предупреждает о серьезной политической опасности, которую он связывает с возможностью технологической фиксации («lock-in»). В процессе бурного взрыва интеллекта текущие условия могут закрепиться навсегда. Даже на текущем технологическом уровне авторитарные режимы способны развернуть тотальную цифровую слежку и автоматизированную пропаганду.
Ник Бостром делает краткий исторический экскурс, показывая, как изменение информационных параметров меняло политические режимы:
- Появление письменности позволило государствам вести строгий налоговый учёт.
- Изобретение печатного станка породило эпоху религиозных войн, но затем сделало возможной масштабную демократию.
- Радио и телевидение дали лидерам инструмент прямого воздействия на массы, что способствовало расцвету тоталитарных идеологий вроде нацизма и коммунизма.
- Социальные сети прямо сейчас трансформируют электоральные процессы, и финал этой трансформации ещё не ясен.
Современные большие языковые модели способны анализировать массивы личной переписки каждого гражданина, выявляя скрытое недовольство и «запретные мысли» между строк. В сочетании с системами социального скоринга это может породить абсолютно стабильную диктатуру, эффективно уничтожающую любое инакомыслие на корню. Впрочем, гость оставляет надежду: те же инструменты могут помочь человечеству лучше фильтровать информацию и эволюционировать в более осознанное и здоровое общество. В качестве иллюстрации текущих проблем выравнивания Брайан Китинг напоминает недавний скандал с Google Gemini, когда нейросеть из-за заложенных настроек политкорректности генерировала изображения отцов-основателей США в виде темнокожих женщин.
👽 Парадокс Ферми, Великий фильтр и уроки пандемии 47:48
Брайан Китинг переводит разговор на космологическое эссе Бострома 2008 года «Почему я надеюсь, что поиск внеземной жизни ничего не найдет». Философ подтверждает, что его позиция не изменилась, и он по-прежнему крайне скептически относится к недавним заявлениям американских военных о наличии физических доказательств существования инопланетных биоматериалов. Из свежих аналитических работ в этой области гость выделяет математические модели профессора Робина Хансона.
В контексте знаменитой теории «Великого фильтра» Ник Бостром предполагает, что человечество уже миновало самые опасные эволюционные барьеры в своём прошлом. К таким пройденным точкам он относит само возникновение жизни из неживой материи и важнейший переход от прокариотов к эукариотам, который на Земле занял около полутора миллиардов лет.
Гость подчеркивает, что будущие угрозы (например, бунт суперинтеллекта) не подходят на роль классического Великого фильтра, объясняющего «молчание космоса». Даже если взбесившийся ИИ уничтожит людей, он сам продолжит экспансию, начнет строить зонды и станет заметен в телескопы. Опасность синтетической биологии и создания оружия массового поражения также может быть купирована жестким полицейским контролем со стороны гипотетического Всемирного правительства. Истинный Великий фильтр должен уничтожать 99,999999% цивилизаций без остатка, не оставляя шанса ни одной технологической ветви.
В завершение встречи, отвечая на вопрос слушателя с ником «buddy 752», Ник Бостром жестко критикует действия властей во время недавней пандемии. По его мнению, мировая цивилизация совершенно «не покрыла себя славой» в этот период.
Философ заявляет о недопустимости атмосферы страха, «стадного чувства» и жесткого деплатформинга ученых, чьи альтернативные мнения спустя время оказались вполне состоятельными. Бострома возмущает отсутствие глубокого системного анализа ошибок на международном уровне. Он отмечает, что даже локальная авария самолета или инцидент с автопилотом Tesla вызывают масштабное расследование с целью не допустить повторения, в то время как уроки глобальной биологической катастрофы человечество попросту проигнорировало.
