В новом эпизоде подкаста Брайана Китинга известный оксфордский философ Ник Бостром представляет свою долгожданную книгу «Глубокая Утопия: Жизнь и смысл в решённом мире» (Deep Utopia: Life and Meaning in a Solved World). Собеседники детально обсуждают, как радикальный технологический прогресс и создание сверхинтеллекта могут полностью изменить человеческое существование, избавив общество от необходимости трудиться. Центральной темой беседы становится поиск новых смыслов, ценностей и экзистенциальных ориентиров в гипотетическом мире, где искусственный интеллект и робототехника способны превзойти человека в любой сфере деятельности.
🎨 Книга о «решённом мире» и её необычный фасад 1:17
Разговор начинается с традиционного для подкаста Брайана Китинга обсуждения оформления книги Ника Бострова «Глубокая Утопия». Ведущий зачитывает ироничный пресс-релиз от агентства 4A, подготовленный помощниками Джессикой Пелан и Эмили, в котором Бостром в шутку называется самым цитируемым профессиональным философом в мире в возрасте до 50 лет. Сам Ник Бостром поясняет, что термин «глубокая» в названии указывает на принципиальное отличие его работы от классических утопических концепций, которые концентрируются на схемах государственного устройства, экономических системах или культурных реформах.
По словам Бострома, его книга исследует состояние «решённого мира» (solved world) — гипотетического будущего, в котором благодаря сверхинтеллекту и роботам все практические и экономические потребности человечества полностью удовлетворены. Автор сам разработал дизайн обложки, выбрав изображение снеговика, рукавички, волка, кабана и лиса, несмотря на то, что этот вариант не набрал большинства голосов при предварительном опросе участников. Структура книги состоит из трёх переплетающихся элементов:
- Лекции профессора: Курс вымышленного профессора Бострома для студентов.
- Художественные притчи: Назначенное чтение под названием «Послания лиса Фодора», где фигурирует его друг — поросёнок Пинус.
- Диалоги слушателей: Беседы студентов, которые спорят и иронизируют над услышанным материалом после лекций.
📉 Парадокс утопического воображения и исторические провалы 6:00
Брайан Китинг напоминает о крайне неудачном историческом опыте построения утопий на Земле. В качестве примеров ведущий приводит социалистическую коммуну Онайда в Нью-Йорке с её концепцией «сложного брака», развалившуюся из-за борьбы за власть, тоталитарный советский коммунизм, деструктивный культ «Джонстаун», приведший к массовому убийству более 900 человек, и эксперимент «Биосфера-2» в Аризоне, который потерпел крах из-за внутренних конфликтов и падения уровня кислорода. Китинг интересуется у гостя, какова, с точки зрения байесовского анализа, вероятность достижения безопасной технологической утопии, учитывая историческую глупость человечества.
Ник Бостром соглашается, что репутация утопических проектов исторически ужасна. Тем не менее, по мнению философа, Соединённые Штаты Америки тоже можно рассматривать как своего рода успешный утопический эксперимент, основанный на идеях конституционной демократии и личных свобод. Бостром утверждает, что главная опасность кроется не в самом стремлении вообразить лучшее будущее, а в попытках навязать готовые жесткие «чертежи» общественного устройства людям против их воли — это неизменно приводило к катастрофическим и даже геноцидальным последствиям.
Гость обращает внимание на любопытную особенность человеческой культуры: в литературе и кинематографе гораздо легче создавать убедительные дистопии (такие как «О дивный новый мир», «1984» или «Рассказ служанки»), тогда как качественную утопию вспомнить трудно. По мнению Бострома, большинство вымышленных утопий кажутся приторными, скучными или представляют собой пугающую монокультуру, где не хочется жить постоянно. Философ связывает это с ограничением человеческого воображения: нам легко представить точечные улучшения реальности (например, полное излечение детской лейкемии), но при попытке масштабировать благо до абсолюта картинка быстро становится блеклой и лишается чего-то важного.
В свою очередь, Брайан Китинг замечает, что как практикующий иудей он думал о концепции «Джутопии» (возвращении к законам тысячелетней давности), которая также вряд ли подошла бы современному обществу. Ведущий констатирует, что сегодня средний житель Запада живёт материально лучше, чем богатейшие монархи Европы 60–80 лет назад, из-за чего стимулы менять текущий статус-кво минимальны.
🤖 Экзистенциальный кризис в эпоху полной автоматизации 11:46
Собеседники переходят к обсуждению практических аспектов концепции досуга (otium). В своей книге Бостром анализирует различные социальные группы в качестве «шаблонов досуга»: положение детей, которые окружены любовью, но лишены реальной власти; жизнь аристократов в странах Персидского залива; богемы, монахов и пенсионеров. Особое внимание авторы уделяют студентам. Бостром считает, что учёба является аналогом работы с отложенным вознаграждением, где у людей низкий доход, мало финансовых обязательств, но высокий социальный статус. Китинг иронизирует над академической профессией, заявляя, что она мало изменилась с 1080 года, когда в Болонье появился первый университет, и спрашивает, что ждёт преподавателей в будущем.
Ник Бостром рисует картину технологической зрелости, когда развитый ИИ сможет выполнять любые ментальные задачи лучше человеческого мозга, а роботы заменят людей в физическом труде. Это повлечёт за собой тотальную безработицу, при которой у человечества исчезнет необходимость в экономическом труде. Более того, по прогнозу Бострома, исчезнут даже многие привычные инструментальные виды досуга:
- Физическая активность: Вместо изнурительных тренировок в спортзале для поддержания формы достаточно будет принять таблетку, вызывающую те же физиологические эффекты.
- Бытовая рутина: Все задачи по уходу за собой и пространством (вплоть до чистки зубов) будут автоматизированы или оптимизированы.
- Творчество и философия: Даже креативная деятельность и глубокие размышления будут выполняться машинами качественнее, чем людьми.
Это ставит фундаментальный вопрос: что придаст смысл человеческому существованию, если роботы делают всё лучше нас? Бостром подчёркивает, что под технологической зрелостью подразумевается достижение физических лимитов, возможных в рамках законов природы, и сверхинтеллект является обязательной частью этого процесса. Философ допускает, что теоретически автоматизации можно было бы достичь за миллионы лет ручного написания программ человеческими разработчиками, но создание мощного ИИ — гораздо более быстрый и реалистичный путь.
🌌 Космические пределы роста и траектории жизни 17:33
Брайан Китинг напоминает о знаменитом докладе Римского клуба «Пределы роста» (1972 год), в котором предсказывался коллапс цивилизации из-за истощения ресурсов и перенаселения, хотя эти прогнозы и не сбылись в полной мере. Как астрофизик, Китинг упоминает идеи Фримена Дайсона о Сфере Дайсона и спрашивает, существуют ли планетарные ограничения, способные заблокировать появление сверхинтеллекта.
Ник Бостром полагает, что планетарные лимиты Земли расположены очень высоко и оставляют огромный простор для технологического развития даже при использовании только ресурсов нашей планеты и солнечной энергии. По мнению гостя, для зрелой цивилизации станет возможной экспансия в космос, создание зондов фон Неймана и Сфер Дайсона, что полностью согласуется с известной физикой.
Однако Бостром подчёркивает, что в «Глубокой Утопии» его интересуют не масштабы (сколько триллионов людей сможет расселить человечество), а экзистенциальная траектория отдельной человеческой жизни. В мире без болезней, бедности и несправедливости возникает вопрос: как будет выглядеть жизнь человека за пределами привычных 70–80 лет? Философ предлагает исследовать, как могут пересекаться траектории долгоживущих людей, цифровых умов и даже «разумных» (модернизированных биологически) животных.
💥 Сингулярность, законы физики и взрыв интеллекта 21:31
Китинг отмечает, что с момента их прошлой беседы в августе 2022 года произошёл невероятный коммерческий и пользовательский взрыв в сфере ИИ. Проводя аналогию с Альбертом Эйнштейном, который называл своей самой счастливой мыслью озарение о состоянии свободного падения, Китинг выражает сомнение в том, что кремниевый разум вообще способен испытывать «счастливые мысли» без физического воплощения и сенсоров. Ведущий предлагает считать истинным тестом Тюринга способность ИИ открывать новые, неизвестные человечеству законы физики.
Ник Бостром возражает против такого критерия, аргументируя это тем, что критерий открытия законов физики исключил бы подавляющее большинство людей из категории разумных существ. Гость считает, что мы, возможно, уже находимся на ранней стадии «взрыва интеллекта». Бостром с иронией признаётся, что в процессе долгого написания книги он всерьёз опасался, что она выйдет уже после наступления Сингулярности, но рад, что успел до её прихода.
Философ сравнивает свои мысленные эксперименты с работой ускорителя частиц:
- Экстремальные условия: В физике частицы сталкивают на огромных энергиях, чтобы изучить кварки, скрытые внутри атомного ядра.
- Столкновение ценностей: В философии сценарии позволяют «сталкнуть» фундаментальные ценности, очистить их от повседневной рутины и ограничений, чтобы понять их истинную структуру.
Бостром выражает надежду, что его книга поможет человечеству подготовиться к будущим глобальным дискуссиям о векторе развития технологий, наделив участников духом открытости, щедрости и игровой лёгкости. При этом в личной жизни философа ИИ пока мало что изменил: он использует большие языковые модели (LLM) лишь для мелких задач. Главной ошибкой современников Бостром считает «овер-индексацию» текущего состояния технологий (например, возможностей GPT-4), в то время как нужно смотреть туда, куда «летит шайба», ведь через четыре года ИИ станет несопоставимо мощнее.
💻 Гипотеза симуляции и «проблема Кардашьян» 28:26
По просьбе ведущего Ник Бостром кратко напоминает суть своей знаменитой гипотезы симуляции, сформулированной им ранее: мы с высокой вероятностью живём в виртуальной реальности, созданной развитой цивилизацией. Согласно аргументу Бострома, одно из трёх утверждений обязательно истинно:
- Человечество вымрет до достижения технологической зрелости.
- Существует жесткая конвергенция, и все зрелые цивилизации по какой-то причине добровольно отказываются от создания симуляций предков.
- Мы уже живём в компьютерной симуляции.
Гость рассуждает, как эта гипотеза пересекается с понятием утопии. По мнению Бострома, если мы в симуляции, то достижение нашей утопии находится в руках «симуляторов», которые могут в любой момент отключить программу или мгновенно телепортировать нас в идеальный мир. Это снижает нашу собственную причинно-следственную значимость (causal significance), ведь нам придётся делить славу или вину за свои достижения с создателями симуляции.
В таком контексте «решённый мир» ИИ-утопии, где людям не нужно решать проблемы, кажется менее пугающим — ведь мы, возможно, изначально лишены той глобальной значимости, которую себе приписываем. Бостром также упоминает «проблему Кардашьян» — вопрос уникальности человеческого опыта. Философ отмечает, что даже без гипотезы симуляции, в бесконечной Вселенной неизбежно существует бесконечное число наших точных копий, проживающих аналогичные жизни.
Комментируя замечание Китинга о том, что политик Бен Шапиро назвал гипотезу симуляции просто «ребрендингом традиционной религии» (где вместо Бога выступает программист с bash-скриптом), Бостром указывает на важное различие. По словам философа, аргумент симуляции стартует с сугубо материалистических, стандартных научных позиций, хотя его финал действительно имеет теологические параллели: признание существования создателя, обладающего «корневым доступом» (root access) к симуляции и способного менять даже законы физики.
🔒 Проблема выравнивания ИИ и сценарий «запирания» траектории 38:24
Отвечая на вопрос о Великом фильтре и проблеме выравнивания ИИ (AI alignment), Бостром заявляет, что окончательный вердикт ещё не вынесен. Текущие модели ИИ влияют на мир, но пока не несут экзистенциальной угрозы для выживания вида. Ситуация радикально изменилась по сравнению с 2014 годом, когда вышла книга Бострома «Сверхинтеллект». Тогда академическая среда игнорировала проблему, считая её научной фантастикой, а сегодня во всех ведущих лабораториях (Anthropic, OpenAI, Google DeepMind) созданы специальные команды по безопасности. Тем не менее, по мнению Бострома, у человечества до сих пор нет гарантированного решения проблемы контроля ИИ при его масштабировании до произвольных уровней.
Философ делится своим видением того, как именно будет разворачиваться «взрыв интеллекта». Бостром предполагает, что когда ИИ начнёт самостоятельно вносить определяющий вклад в исследования в области ИИ, возникнет петля положительной обратной связи, и события начнут развиваться стремительно, в пределах нескольких лет.
В этот момент, по мнению гостя, может произойти «запирание» цивилизационной траектории (lock-in) — фиксация определённых условий навсегда. Сверхинтеллект может создать технологии, которые не позволят человечеству отклониться от заданного курса. Причём Бостром предупреждает, что даже при текущем уровне ИИ существует риск создания невиданных ранее систем тотальной слежки, автоматизированной пропаганды и цензуры. Исторически Бостром демонстрирует, как изменение параметров коммуникации меняло политические режимы:
- Изобретение письменности: Позволило государствам вести налоговый учёт и координировать большие территории.
- Печатный станок: Привёл к десятилетиям религиозных войн, но также сделал возможной крупномасштабную демократию.
- Радио и телевидение: Облегчили распространение тоталитарных идеологий (нацизма и коммунизма), дав одному лидеру прямую связь с массами.
- Социальные медиа: Продолжают трансформировать современный политический дискурс.
По оценке Бострома, современные большие языковые модели способны анализировать личные сообщения и звонки каждого человека, формируя детальные психологические профили и выявляя «запретные мысли». В сочетании с системами социального скоринга это может создать идеальный механизм принуждения к ортодоксии. Впрочем, гость оставляет место для оптимизма: те же технологии могут помочь обществу легче находить правдивую информацию и самокорректироваться. «Пока есть невежество, есть и надежда», — резюмирует Бостром.
❓ Ответы на вопросы аудитории: фильтры, реальность и пандемия 51:10
В финальной части интервью Ник Бостром отвечает на блиц-вопросы слушателей подкаста Брайана Китинга. Вопрос Майкла Вессела о знакомстве с фантастическим романом 1964 года «Симулякрон-3» Даниэла Галуйя Бостром парирует коротко: он об этой книге не знал.
Размышляя о Великом фильтре, Бостром утверждает, что человечество, скорее всего, уже миновало его самые опасные стадии в своём эволюционном прошлом. К таким стадиям философ относит возникновение первых репликаторов на каменистой планете и переход от прокариотов к эукариотам, который на Земле занял около 1,5 миллиарда лет. Гость замечает, что гипотетический сценарий, в котором ИИ уничтожает людей, не может служить объяснением «парадокса молчания космоса», так как восставший сверхинтеллект всё равно продолжил бы экспансию во Вселенной с помощью зондов фон Неймана, и мы бы его заметили. Опасность со стороны синтетической биологии Бостром считает серьёзной, но сомневается, что она может стать абсолютным Великим фильтром (уничтожающим 99,999% цивилизаций), поскольку хотя бы одна из тысячи культур установит жёсткий тоталитарный контроль над биолабораториями и выживет.
Комментируя вопрос об объективной реальности и ИИ, Бостром признаёт, что появление эпистемически превосходящих ИИ-оракулов может дать человечеству доступ к абсолютно точным ответам. Однако философ подчёркивает, что не стоит недооценивать способность людей игнорировать любые улики и создавать собственные иллюзии при наличии мотивации. В качестве примера Китинг приводит недавний скандал с нейросетью Google Gemini, которая в ответ на запрос изобразить отцов-основателей США (включая Джорджа Вашингтона) генерировала изображения чернокожих женщин в париках, что вызвало сильный когнитивный диссонанс в обществе. По мнению Бострома, «мы формируем наши инструменты, а затем инструменты формируют нас», но эволюция ИИ происходит настолько быстро, что человечество просто не успевает культурно адаптироваться к конкретному поколению машин.
Последний вопрос от слушателя с ником Buddy 752 касается уроков недавней глобальной пандемии в Европе и западном мире. Ник Бостром жёстко критикует действия властей и общества, заявляя, что наша цивилизация «не покрыла себя славой» в этот период. Философ выражает возмущение тем, что детальный разбор ошибок до сих пор затруднён из-за страха попасть под санкции алгоритмов Google. По мнению Бострома, мир столкнулся с проявлением разрушительного «стадного чувства», когда все бросились поддерживать один официальный нарратив, попутно деплатформируя несогласных, чьи аргументы спустя время оказались вполне правдоподобными.
Гость с сожалением констатирует, что человечество не проявило системного желания учиться на этой катастрофе. В то время как любая авария самолёта или инцидент с беспилотником Tesla вызывают масштабное техническое расследование для предотвращения рецидивов, уроки пандемии оказались фактически проигнорированы.
В конце встречи Брайан Китинг благодарит Ника Бострома за глубокую и весёлую книгу и выражает надежду встретиться лично до наступления Сингулярности, которую футуролог Рэй Курцвейл наметил на 2029 год.
