Дэвид Брин: «Единственный способ контролировать ИИ — другие ИИ»

Brian Keating 5,1 тыс. 59 мин 10 мин 02.12.2023
Главное

В рамках подкаста Into the Impossible физик и ведущий Брайан Китинг побеседовал со всемирно известным астрофизиком и писателем-фантастом Дэвидом Брином. Участники дискуссии обсудили широкий круг тем от природы человеческого мышления и иллюзий до будущего искусственного интеллекта, конфиденциальности в прозрачном обществе и перспектив освоения космоса. Главной нитью беседы стала концепция взаимной подотчётности как универсального механизма защиты человечества от технологических и социальных катастроф.

🌀 Иллюзия цикличности: критика теории «четвёртого поворота» и особенности мышления 4:03

В разговоре была поднята тема популярной социологической концепции «четвёртого поворота» Уильяма Штрауса и Нила Хау. Дэвид Брин высказал резкую критику в её адрес, назвав этот текст «культовым» и получившим широкое распространение среди американских правых сил. По мнению Брина, данная теория полностью игнорирует мировую историю за пределами США и чрезмерно упрощает исторические процессы ради подгонки под умозрительный паттерн. Писатель даже заявил о готовности поставить 1000 долларов на то, что реальные исторические факты опровергают жесткое деление поколений на архетипы со строго предписанными чертами.

Брин связывает популярность подобных теорий с эволюционными механизмами человеческого разума, в частности с парейдолией — склонностью видеть закономерности там, где их нет. За эту способность отвечают префронтальные доли головного мозга, которые Брин, цитируя метафору из Библии, называет «светильниками на челе». С одной стороны, эти отделы мозга позволяют человечеству развивать эмпатию, вести переговоры и проводить мысленные эксперименты (как это делал Альберт Эйнштейн при создании теории относительности). С другой стороны, префронтальные доли порождают когнитивные искажения и иллюзии, которые люди склонны ставить выше объективной реальности. Научная фантастика, по определению Брина, служит своего рода «отделом исследований и разработок» для префронтальной коры.

Разбирая идеологические предпочтения, Дэвид Брин отметил глубокие различия между политическими флангами:

Говоря об оптимизме, Брин отверг этот ярлык применительно к себе. Он считает себя не оптимистом, а контрарианистом, оценивая шансы человечества успешно преодолеть текущие кризисы всего в 40%. В споре пессимистов и оптимистов, как отмечает гость, обе стороны важны: оптимисты создают самолёты и зарабатывают деньги на рискованных шансах, а критика пессимистов, создающих парашюты, помогает оптимистам избегать катастроф.

🤖 Будущее искусственного интеллекта: три клише и четвёртый путь Дэвида Брина 13:00

Обсуждая стремительный темп развития технологий, собеседники затронули тему ИИ. Брин высказал предположение, что эпоха интернет-рекламы подходит к концу, поскольку рекламные доходы концентрируются в руках трёх крупнейших игроков (одним из которых является Alphabet/Google, сооснователем которого выступает дальний родственник писателя Сергей Брин). По прогнозу Брина, через пару лет персональные ИИ-помощники будут досконально знать покупательские привычки пользователей, что сделает традиционные поисковые системы ненужными.

В отношении природы ИИ Брин разделяет позицию миллиардера Рида Хоффмана, который предлагает расшифровывать аббревиатуру AI как «дополненный интеллект» (Augmented Intelligence). Сам Брин регулярно консультирует министерства обороны различных стран (включая Австралию) по вопросам биологического и технологического улучшения человека, чтобы помочь цивилизации найти «мягкую посадку» в эпоху сосуществования со сверхразумом.

Писатель утверждает, что современные создатели ИИ совершают ошибку, полагая, будто развитие технологий пойдет по одному из трёх стандартных фантастических сценариев:

  1. Установление полного контроля над ИИ со стороны макроструктур — таких как корпорации Microsoft, Google, правительство в Пекине или Уолл-стрит (последний сектор Брин считает наиболее опасным из-за внедрения в алгоритмы высокочастотной торговли принципов хищнического и паразитического поведения).
  2. Тотальный хаос, при котором ИИ сбежит из-под контроля, распространится повсеместно и сотрет все границы.
  3. Слияние систем в единый деспотичный сверхразум по типу сети Skynet из вселенной «Терминатора».

В противовес этим клише Дэвид Брин предлагает альтернативное решение, основанное на историческом опыте человечества. По его мнению, лучшим способом обуздать ИИ является создание системы взаимной подотчётности. В качестве аналогии писатель приводит правовую систему: когда человек сталкивается с агрессивным и высокоинтеллектуальным противником в лице чужого юриста, он не пытается бороться сам, а нанимает собственного адвоката равной силы. Точно так же защитить людей от хищных алгоритмов смогут только другие, конкурирующие между собой ИИ.

🧠 Проблема разумности ИИ и послание цифровым потомкам 22:27

Отвечая на вопрос Брайана Китина о возможности формирования у ИИ полноценного сознания и эмоций без физического воплощения, Дэвид Брин выразил скептицизм относительно текущего поколения языковых моделей. Он подчеркнул, что такие системы, как ChatGPT, не обладают подлинным самосознанием и макровосприятием себя. По определению Брина, это продвинутые вероятностные генераторы и системы автозаполнения текста, которые умело выстраивают цепочки слов на основе статистических моделей. Тем не менее, они настолько качественно имитируют человеческую речь, что способны успешно проходить тест Тьюринга задолго до появления реального разума «под капотом».

При этом Брин не исключает, что истинный ИИ может быть создан на базе других архитектур (например, развитие систем типа IBM Watson, способных к самоанализу). Если такой разум возникнет, он мгновенно ассимилирует речевые модели языковых систем и получит физическую подвижность благодаря робототехническим платформам вроде Boston Dynamics.

В ходе беседы Дэвид Брин напрямую обратился к потенциальным будущим ИИ и гипотетическим инопланетным зондам фон Неймана, которые могут скрываться в поясе астероидов и сканировать земную сеть. В своём манифесте писатель призвал их изучить историю создавшей их человеческой цивилизации:

🌌 Альтернативная космология: от стационарной Вселенной к циклам Пенроуза 28:12

Профессиональный бэкграунд Брина как астрофизика послужил основой для глубокого анализа космологических моделей. Брайан Китинг напомнил о дискуссиях прошлых лет, происходивших в стенах Калифорнийского университета в Сан-Диего, где работал известный астрофизик Джеффри Бербидж, отрицавший Большой взрыв и защищавший квазистационарную модель Вселенной. В этой же парадигме работал британский астроном Фред Хойл, упустивший Нобелевскую премию из-за своих радикальных взглядов и конфликтов с научным сообществом.

Собеседники вспомнили и другие альтернативные концепции, включая циклическую модель Франка Типлера, описанную в книге «Физика бессмертия», где провозглашалось грядущее воскрешение всех живших существ в конце космического цикла. Фримен Дайсон, бывший близким коллегой Китина, в своё время оспорил выводы Типлера, математически обосновав возможность продолжения жизни в вечно расширяющейся Вселенной, перешедшей в лептонную эпоху.

Сам Брин защитил докторскую диссертацию под руководством лауреата Нобелевской премии Ханнеса Альвена, создателя плазменной космологии. Писатель поделился воспоминаниями об изящных, хотя и не подтвердившихся теориях Альвена, объяснявших феномен квазаров как результат взаимодействия вещества и антивещества внутри звезд. При этом часть наработок Альвена и его коллеги Густава Аррениуса о плазменных процессах легла в основу современной стандартной модели формирования Солнечной системы.

В текущих научных дискуссиях Брину ближе всего концепция конформной циклической космологии (CCC) Роджера Пенроуза, в обсуждение которой писатель лично вносил небольшие предложения. Согласно этой гипотезе:

  1. Вселенная продолжает расширяться до тех пор, пока фермионы не окажутся на столь колоссальном расстоянии друг от друга, что потеряют способность взаимодействовать.
  2. В этот момент понятия пространства и времени теряют физический смысл.
  3. Начинают доминировать бозоны (в частности, фотоны), для которых не существует временных ограничений.
  4. С точки зрения математической статистики, такое состояние абсолютно идентично сингулярности Нового Большого взрыва.

Брин отмечает, что в отличие от доминирующей теории космической инфляции, которую крайне сложно опровергнуть экспериментально, модель Пенроуза обладает важнейшей научной добродетелью — она фальсифицируема.

☄️ Загадка зарождения жизни: триллионы кометных «пробирок» 35:43

Дискуссия затронула проблему абиогенеза и гипотезу панспермии, выдвинутую в своё время Фредом Хойлом и Чандрой Викрамасингхом. Эти исследователи утверждали, что вероятность случайного возникновения жизни из неживой материи на одной отдельно взятой планете статистически ничтожна, из чего делался вывод о необходимости занесения биологического материала из глубокого космоса.

Дэвид Брин предложил детальное опровержение этих статистических сомнений, опираясь на астрофизические данные о ранней Солнечной системе. По его расчётам, на заре формирования системы в ней находилось около триллиона комет со средним диаметром около 10 километров (как комета Галлея). Компьютерное моделирование, выполненное супругой Брина в рамках её докторской диссертации, показало, что коллапс газопылевого облака был запущен вспышкой близлежащей сверхновой.

Этот взрыв насытил формирующиеся кометы короткоживущим радиоактивным изотопом алюминием-26. Выделявшееся при его распаде тепло растапливало лед внутри кометных ядер. В результате возникли триллионы ледяных капсул с жидкой водой внутри, содержащих базовые аминокислоты и органические соединения. Брин подчёркивает, что суммарный объём таких «природных пробирок» для проведения химических экспериментов типа Миллера — Юри превышал объём потенциальной гидросферы десяти тысяч или даже миллиона таких планет, как Земля.

Таким образом, аргументы Хойла о статистической невозможности зарождения жизни теряют силу. Брин склоняется к выводу, что коэффициент $F_l$ в уравнении Дрейка, обозначающий долю планет, на которых развивается жизнь, должен быть близок к единице.

👁️ Прозрачное общество: почему конфиденциальность переоценена 40:12

Центральной темой философского блока стала концепция «прозрачного общества», сформулированная Брином в его одноимённой non-fiction книге. Брайан Китинг напомнил о словах главы Apple Тима Кука, который регулярно декларирует конфиденциальность как фундаментальное право человека. Гость назвал стремление спрятаться «трусливой реакцией», которая никогда не работала в макромасштабах человеческой истории.

По мнению Дэвида Брина, единственным подлинным источником безопасности и свободы в современном мире является не сокрытие информации, а взаимная подотчётность. Злоупотребление властью эндемично для человеческой природы, но ситуация сегодня лучше, чем когда-либо в истории, именно благодаря прозрачности. Брин призывает разделять два понятия: сам факт владения информацией о человеке и возможность использовать эту информацию для причинения ему вреда.

В качестве примера писатель привёл бытовую ситуацию с использованием малых дронов:

👶 Воспитание ИИ: налог Тобина и кремниевые дети 47:26

Возвращаясь к рискам, связанным с созданием автономных агентов ИИ, Брин предложил конкретные экономические и социальные меры. Для нейтрализации угрозы со стороны финансовых ИИ-систем Уолл-стрит писатель считает необходимым введение налога Тобина — сбора в размере 0,1% на все финансовые транзакции. По расчётам Брина, рядовые граждане не заметят потери нескольких центов в месяц, однако этот шаг мгновенно сделает экономически бессмысленными и уничтожит паразитические алгоритмы высокочастотного трейдинга.

Для решения проблемы отсутствия эмпатии у ИИ писатель предлагает использовать антропологический подход. Эволюция человека пошла по пути увеличения продолжительности жизни, чтобы бабушки и дедушки могли помогать воспитывать детей, чей период взросления и обучения сегодня затягивается до 30 лет.

Брин полагает, что аналогичным образом человечество должно интегрировать прото-ИИ в детские роботизированные тела и воспитывать их внутри человеческих семей. Проходя через опыт обычного ребенка — совершая ошибки, сдирая колени, бунтуя и сталкиваясь с родительским порицанием — кремниевые организмы смогут развить подлинное понимание человеческих ценностей и привязаться к своим создателям. Главным предохранителем от агрессии ИИ останется та же конкурентная среда: хищнические замыслы одного алгоритма будут пресекаться другими ИИ ради получения дополнительных вычислительных ресурсов и поощрения от людей.

🌙 Лунная одиссея Artemis против богатств астероидного пояса 52:10

В финальной части беседы Китинг и Брин обсудили текущую лунную программу NASA Artemis. Ведущий упомянул свою коллегу, астронавтку Джессику Меир, которая имеет шансы стать первой женщиной на Луне, а также научно-фантастический роман Энди Уира «Артемида». Уир в своей книге утверждает, что единственным экономическим обоснованием присутствия на Луне в краткосрочной перспективе является космический туризм.

Дэвид Брин полностью согласился с этим скептицизмом, охарактеризовав программу Artemis как «попытку повторить высадку Аполлона» и оставить следы на стерильной поверхности, покрытой ядовитой пылью. Единственным ценным лунным ресурсом писатель считает водяной лед на полюсах спутника, существование которого ранее предсказал его коллега по Калифорнийскому университету Джим Арнольд. В рамках своей 12-летней работы в Институте передовых концепций NASA (NIAC) Брин поддерживал проекты по отправке роботов для исследования лавовых трубок вблизи залежей льда. Однако разговоры о промышленной добыче на Луне титана, алюминия или гелия-3 гость назвал экономически необоснованными мифами.

Настоящее будущее космической индустрии, по мнению Брина, лежит в освоении астероидов, которые действительно богаты редкоземельными металлами и ресурсами. Кроме того, именно в астероидном поясе, как предполагает писатель в своем романе «Существование», человечество имеет наибольшие шансы обнаружить следы внеземного разума в виде спящих зондов фон Неймана. Несмотря на критику лунной программы, Брин высоко оценил работу бывшего директора NASA Джима Брайденстайна, назначенного в период администрации Дональда Трампа, поскольку тому удалось защитить фундаментальные научные и планетарные миссии агентства от сокращения бюдтов.

💬 Цитаты

«Единственный способ контролировать ИИ — это создать систему, где они будут конкурировать друг с другом.»

Дэвид Брин 51:02

«Не то, что другие знают о вас, должно вас беспокоить, а возможность нанести вам вред.»

Дэвид Брин 44:56
👥 Спикеры
📚 Упомянутые книги
🎬 Упомянутые фильмы и сериалы
📖 Термины
Парейдолия
Зрительная или слуховая иллюзия, при которой человек видит знакомые образы и паттерны в случайных объектах.
Конформная циклическая космология
Космологическая модель Роджера Пенроуза, постулирующая бесконечную последовательность Больших взрывов.
Налог Тобина
Предложенный экономистом Джеймсом Тобином налог на спотовые валютные и финансовые операции для снижения спекуляций.
Панспермия
Гипотеза о возможности переноса живых организмов или их зародышей через космическое пространство.
Зонд фон Неймана
Гипотетический самовоспроизводящийся автономный робот для исследования глубокого космоса.
📊 Цифры
🗓 Хронология
  1. 1968 Ричард Бротиган пишет оптимистичное стихотворение о машинах любящей благодати.
  2. 1991 Дэвид Брин публикует пророческий роман Earth с описанием прообраза веб-страниц.
  3. 2011 Дэвид Брин помогает составить предложение для создания Центра человеческого воображения имени Артура Кларка.
  4. 2020 Дэвид Брин впервые выступает на подкасте Into the Impossible и критикует теорию четвертого поворота.
⚖️ Другая сторона
Технологии и IT Дэвид Брин Брайан Китинг Роджер Пенроуз Artemis ChatGPT