Философ Ник Бостром о гипотезе симуляции, парадоксе Ферми и угрозах суперинтеллекта

Event Horizon 136 тыс. 50 мин 11 мин 08.09.2022
Главное

В новом выпуске научно-философского проекта Event Horizon его создатель Джон Майкл Годье беседует с известным оксфордским мыслителем Ником Бостромом. Собеседники подробно разбирают парадокс Ферми, природу реальности сквозь призму гипотезы симуляции и антропного принципа, а также оценивают масштабы экзистенциальных угроз, с которыми человечество может столкнуться в ближайшие столетия. В центре внимания — глубокий критический анализ того, является ли наша Вселенная программным кодом, и каковы шансы разумной жизни уцелеть в эпоху технологической зрелости.

🌌 Парадокс Ферми и космическое молчание 3:08

Развитие передовых технологий, таких как молекулярные нанотехнологии, искусственный интеллект и сверхинтеллект, неизбежно ставит перед цивилизацией вопросы глобальной безопасности. Ведущий Джон Майкл Годье предполагает, что если подобные технологии вырываются из-под контроля, они трансформируются в разрушительную силу, способную уничтожить все живое в Галактике. Логично ожидать, что развитые космические цивилизации должны оставлять предупреждающие знаки или транслировать сигналы в рамках проектов вроде SETI, призывая других не совершать роковых ошибок. Однако человечество сталкивается лишь с «великим молчанием».

Ник Бостром выражает скепсис по поводу эффективности таких предупреждений. По его мнению, даже если бы человечество получило подобное послание из космоса, геополитическое соперничество и страсть к созданию новых видов вооружений помешали бы нам внять голосу разума. Ученый напоминает об истории создания ядерной бомбы: этот процесс развивался стремительно, и никакие сдерживающие факторы не смогли его остановить.

Для Бострома парадокс Ферми никогда не выглядел по-настоящему неразрешимым. Философ убежден, что феномен молчания космоса имеет простое и элегантное объяснение: вероятность зарождения жизни на любой отдельно взятой планете — а тем более эволюции этой жизни до технологически развитой стадии — может быть астрономически малой. Современные измерения показывают, что геометрия нашей Вселенной является плоской, а значит, она вполне может простираться бесконечно далеко за пределы наблюдаемого человеком пузыря. В бесконечной Вселенной существует бесконечное число планет, и даже при исчезающе малой вероятности «бросок костей» неизбежно приведет к появлению разумной жизни в некоторых изолированных точках. В рамках этой концепции «Великого фильтра» жизнь во Вселенной существует, но её очаги разделены колоссальными расстояниями, что полностью согласуется с текущими астрономическими наблюдениями. Альтернативные варианты, вроде гипотезы «космического зоопарка», кажутся Бострому избыточно сложными.

💻 Бесконечная Вселенная или цифровая иллюзия? 7:17

Джон Майкл Годье указывает на кажущееся противоречие: моделирование бесконечной Вселенной потребовало бы от создателей бесконечного объема вычислительных ресурсов. Ник Бостром опровергает этот тезис, объясняя, что для генерации убедительной реальности вовсе не нужно просчитывать весь мир с максимальной детализацией до самых удаленных окраин. Достаточно создать иллюзию бесконечности для конкретного наблюдателя. Философ проводит грубую аналогию с театральным куполом, в котором проделаны крошечные отверстия, имитирующие свет далеких звезд. Более сложные цифровые методы позволяют разворачивать детализированную картинку только там, куда направлен взор обитателей симуляции.

В качестве подтверждения Бостром предлагает вспомнить механизм человеческих сновидений. Каждую ночь наш мозг создает крайне реалистичные и убедительные миры, задействуя скромные биологические ресурсы. Очевидно, что технологически зрелая цивилизация, обладающая планетарными суперкомпьютерами, способна на порядки превзойти этот результат.

По словам Бострома, архитектура гипотетической симуляции может быть оптимизирована за счет снижения вычислительной сложности по мере удаления от наблюдателя. Наша планета и ближайшее окружение просчитываются с высокой точностью, но чем дальше мы смотрим в космос, тем ниже становится разрешение получаемых данных. Ведущий отмечает, что это совпадает с реальной астрономической картиной, где детализация объектов падает пропорционально расстоянию до них. Бостром добавляет, что симуляторы могут транслировать низкочастотные сигналы, имитирующие активность гигантских сверхцивилизаций в соседних галактиках. Основная же часть вычислительной мощности будет уходить на симуляцию работы мозга самих наблюдателей и их непосредственного окружения.

🔍 Антропный сдвиг и загадка тонкой настройки 9:44

Обсуждение парадокса Ферми неизбежно упирается в проблему антропной предвзятости — склонности человека оценивать фундаментальные законы природы через призму собственного существования. По определению Ника Бострома, антропный сдвиг представляет собой специфическую ошибку мышления, вызванную тем, что любые наши наблюдения отфильтрованы жестким предварительным условием: наблюдатель должен находиться в правильном месте и в правильное время, чтобы зафиксировать акт наблюдения.

Обывательская логика подсказывает: раз на Земле развилась разумная жизнь, значит, этот процесс относительно прост и закономерен для планет с подходящими макроскопическими параметрами. Однако Бостром называет это классическим проявлением эффекта наблюдательного отбора. Даже если появление разума — это уникальное, практически невозможное событие, абсолютно любой наблюдатель во Вселенной обнаружит себя именно на той редкой планете, где этот процесс увенчался успехом. Простые эмпирические наблюдения нашего собственного существования не позволяют математически разграничить гипотезу о распространенности жизни и гипотезу о её экстремальной редкости.

С антропным принципом тесно связана проблема тонкой настройки Вселенной. Базовые физические константы подогнаны друг к другу с ювелирной точностью: малейшее изменение любого параметра привело бы к тому, что во Вселенной не смогли бы сформироваться ни жизнь, ни даже сама материя. Философ констатирует, что мир балансирует на «лезвии бритвы», и этот факт требует рационального объяснения. На сегодняшний день в академической среде конкурируют четыре ключевые сценария:

📜 Трилемма симуляции Ника Бострома 15:16

В философском сообществе Ник Бостром получил широкую известность благодаря формулировке трилеммы, описывающей вероятность нашего цифрового происхождения. Согласно его аргументации, истинным является как минимум одно из трех следующих утверждений:

  1. Человечество (и любая другая цивилизация) неизбежно вымирает до того, как достигнет технологической зрелости.
  2. Подавляющее большинство технологически развитых цивилизаций полностью теряет интерес к использованию своих планетарных суперкомпьютеров для создания детальных «симуляций предков» (ancestor simulations).
  3. Мы с огромной долей вероятности живем в матрице, созданной более развитыми существами.

Бостром подчеркивает: если в будущем люди создадут собственные симуляции предков со счастливыми обладателями искусственного сознания внутри, это станет весомым эмпирическим доказательством истинности третьего варианта. В таком случае первые два тезиса автоматически аннулируются. Технологически зрелое общество сможет тратить ничтожную долю своих ресурсов на запуск миллиардов виртуальных миров. Живущие в них цифровые умы будут обладать полноценным сознанием и субъективным опытом, неотличимым от нашего.

Джон Майкл Годье озвучивает альтернативную версию: что если наш мир — это чья-то фантазия или продвинутая видеоигра, запущенная ради развлечения? Бостром соглашается, что теоретически это возможно. С точки зрения философии можно разделить «пассивные» симуляции, созданные исключительно ради научного наблюдения за развитием цивилизации (по типу игр SimCity или World Box), и «активные» компьютерные игры, где у внешнего игрока есть конкретный аватар, напрямую влияющий на ход исторических событий.

Разбирая гипотетическую мотивацию авторов симуляций, собеседники затрагивают концепцию «мозгов Больцмана» (Boltzmann brains) — гипотетических мыслящих сущностей, спонтанно возникающих в умирающей Вселенной в результате хаотических тепловых флуктуаций. Годье предполагает, что такое одинокое существо могло бы от скуки запустить симуляцию ушедших эпох, чтобы изучать космологию прошлого. Ник Бостром критикует этот мысленный эксперимент. По его оценке, шансы «мозга Больцмана» обладать упорядоченным, антропоморфным и связным сознанием ничтожно малы. В триллионы раз чаще спонтанные флуктуации порождают кратковременные, хаотичные структуры, чей ментальный опыт напоминает скорее созерцание телевизионного шума на экране из нескольких пикселей. В отличие от человека, чей разум прошел жесткий фильтр эволюционной адаптации ради выживания, «мозг Больцмана» не имеет функциональных причин быть стабильным. Субъективное время для него также не будет течь быстрее, если только он не собран из сверхплотного вещества нейтронной звезды. Большинство таких объектов прекратит свое существование в долю секунды.

👁️ Концепция Синглтона и этические запреты 25:26

Одним из теоретических решений трилеммы симуляции (в пользу второго пункта) может стать концепция «Синглтона» (Singleton), разработанная Ником Бостромом. Синглтон — это мировая система управления, при которой на всей планете или в рамках цивилизации формируется единый центр принятия решений (например, мировое правительство или бессмертный ИИ-диктатор). Такая структура способна централизованно навязать жесткие этические стандарты и полностью запретить создание симуляций предков, посчитав негуманным искусственное воссоздание мыслящих существ в обреченных на страдания виртуальных мирах.

По мнению Бострома, если разные цивилизации в космосе будут неизбежно приходить к форме Синглтона, они на основе чистой логики могут единогласно принять решение об отказе от симуляций. Сверхинтеллектуальные системы управления способны безошибочно просчитывать все этические и практические последствия своих действий, что повышает вероятность конвергенции (схождения) их мотивов и ценностей.

Ведущий развивает эту мысль, предполагая, что единообразие мышления сверхинтеллектуальных Синглтонов способно решить и парадокс Ферми: возможно, все они осознают опасность экспансии и сознательно отказываются от колонизации космоса или строительства сфер Дайсона, предпочитая режим жесткой экономии энергии внутри родных систем. Однако Бостром сомневается в такой трактовке. Философ согласен, что суперинтеллект снижает количество когнитивных ошибок и объединяет эмпирические взгляды на устройство мира, но мотивационная сфера устроена иначе. С точки зрения Бострома, отказ от колонизации космоса выглядит иррациональной тратой ресурсов. Прямо сейчас бесчисленные звезды освещают пустые пространства, и колоссальные объемы полезной энергии (негэнтропии) буквально «смываются в унитаз» космического масштаба. Любая зрелая цивилизация захочет использовать этот потенциал.

Что касается риска тотального вымирания (первый пункт трилеммы), Бостром указывает, что Великим фильтром не могут служить такие банальные угрозы, как внутренние войны. Если во Вселенной существуют миллионы цивилизаций, то военные конфликты уничтожат лишь часть из них. В силу статистического разнообразия где-то обязательно победит фракция-миротворец или сформируется стабильное глобальное соглашение. Истинный Великий фильтр должен носить характер непреодолимого, универсального закона природы, одинаково губительного для всех без исключения.

🧠 От интернет-рассылок к ИИ-выравниванию: эволюция экзистенциального мышления 33:33

Оценивая текущее состояние человечества, Бостром признает, что мы тратим непозволительно малую долю глобальных ресурсов на обеспечение собственной безопасности, предпочитая жить «одним днем». Тем не менее ситуация в академической сфере заметно улучшилась по сравнению с концом прошлого века.

Ник Бостром в 1994 году получил степень бакалавра философии, математики, логики и ИИ в Гётеборгском университете, затем защитил магистерские степени в Стокгольме и Королевском колледже Лондона, а в 2000 году удостоился докторской степени (PhD) в Лондонской школе экономики за работу по эффектам наблюдательного отбора. Философ вспоминает, что в конце 1990-х годов вся инфраструктура для обсуждения радикальных трансформационных технологий и экзистенциальных рисков ограничивалась парой почтовых интернет-рассылок, где энтузиасты обменивались мнениями. Прорыв произошел в 2005 году, когда Бостром основал Институт будущего человечества (Future of Humanity Institute, FHI) при Оксфордском университете. За последующие два десятилетия сформировалась мощная международная экосистема, включающая сообщества эффективных альтруистов и рационалистов, университетские институты, специализированные лаборатории по безопасности ИИ внутри крупнейших технологических корпораций и профильные некоммерческие фонды. Сегодня в сферу выравнивания искусственного интеллекта (AI alignment) привлекаются лучшие умы планеты.

Философ также призывает разделять и критически оценивать три составляющие знаменитой концепции «Технологической Сингулярности» Рэя Курцвейла, которые часто ошибочно смешивают в одну кучу:

💣 Черный шар из урны открытий: нанотехнологии, биология и суперинтеллект 38:34

В ближайшие столетия человечество столкнется с развитием двух беспрецедентно опасных технологий, превосходящих по своей разрушительной силе ядерное оружие: молекулярными нанотехнологиями и искусственным сверхинтеллектом. Сюда же можно отнести радикальное улучшение человека (human augmentation), которое фактически приведет к исчезновению вида Homo sapiens и появлению нового технологического человечества.

По мнению Бострома, суперинтеллект имеет шансы появиться раньше, чем начнется эпоха атомарно точного производства и нанороботов. В таком случае цифровой разум сможет вовремя распознать опасности нанотехнологий и заблокировать их хаотическое применение, сформировав управляющий Синглтон. Куда более острой и незаметной угрозой Бостром считает синтетическую биологию. Ученые уже сегодня способны создавать искусственные организмы, потенциально способные вытеснить природные экосистемы.

Для описания технологического прогресса Бостром предлагает использовать свою знаменитую метафору «Урны изобретений» (гипотеза уязвимого мира). Исторический процесс познания напоминает извлечение шаров из огромного сосуда:

До сих пор человечеству везло, и мы доставали лишь белые и серые шары. Однако у нас нет механизма «забывания» или возвращения опасных знаний обратно в урну. Наша текущая стратегия выживания, по сути, сводится к слепой надежде на то, что черного шара в урне просто не существует.

Главная проблема современности, как полагает Бостром, заключается в полном отсутствии в биологических науках той культуры безопасности, которая сформировалась в ядерной физике после трагедии Хиросимы и Нагасаки. В свое время физик Лео Силард, осознав опасность цепной реакции, лично пытался засекретить научные публикации, а затем привлек Альберта Эйнштейна для написания исторического письма президенту Рузвельту, что дало старт Манхэттенскому проекту из-за страха, что нацистская Германия создаст бомбу первой. В современной синтетической биологии, напротив, до сих пор доминирует опасный «романтический» этос: во главе угла стоят идеи открытых публикаций, демократизации доступа к технологиям и прославления чистой научной креативности без глубокого понимания возможных катастрофических последствий.

В завершение беседы Ник Бостром признается, что наибольший страх у него вызывает именно риск, связанный с созданием ИИ. Однако он называет сверхинтеллект «обоюдоострым мечом». Цифровой разум — это одновременно и источник колоссальной угрозы, и главная надежда человечества. В случае успеха именно ИИ сможет защитить нас от остальных экзистенциальных рисков и открыть двери в качественно лучшее будущее. Человечество не должно пытаться остановить этот процесс; наша задача — использовать оставшееся время, чтобы максимально повысить шансы на благополучный исход перехода через этот технологический портал.

💬 Цитаты

«В космосе бесчисленные звезды освещают пустые пространства, и колоссальные объемы полезной энергии буквально смываются в унитаз космического масштаба.»

Ник Бостром 30:14

«Переход к машинному сверхинтеллекту будет сопряжен со значительным экзистенциальным риском, но в конечном итоге это портал, через который мы должны пройти.»

Ник Бостром 48:40
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
Антропный сдвиг
Ошибка мышления, при которой наблюдатель игнорирует тот факт, что условия его существования изначально отфильтровали характер его наблюдений.
Синглтон
Гипотетическая мировая структура, обладающая монополией на принятие ключевых решений и координацию всей человеческой деятельности.
Мозг Больцмана
Гипотетический мыслящий разум, возникающий в космосе из хаотического теплового шума, а не в результате биологической эволюции.
AI alignment (Выравнивание ИИ)
Научно-инженерная дисциплина, направленная на то, чтобы цели искусственного интеллекта строго соответствовали человеческим ценностям и намерениям.
Гипотеза уязвимого мира
Философская концепция Бострома, согласно которой научно-технический прогресс неизбежно приведет к открытию технологии, уничтожающей цивилизацию.
📊 Цифры
🗓 Хронология
  1. 1994 год Ник Бостром оканчивает Гётеборгский университет со степенью бакалавра.
  2. Конец 1990-х годов Дискуссии об экзистенциальных рисках ограничиваются несколькими почтовыми интернет-рассылками.
  3. 2000 год Бостром получает докторскую степень (PhD) в LSE и начинает преподавать в Йеле.
  4. 2002 год Бостром становится постдокторантом Британской академии в Оксфордском университете.
  5. 2005 год Ник Бостром основывает Институт будущего человечества (FHI) в Оксфорде.
⚖️ Другая сторона
Искусственный интеллект Ник Бостром Джон Майкл Годье Искусственный сверхинтеллект Парадокс Ферми Гипотеза симуляции