Человечество уничтожает слонов не из-за ненависти, а просто потому, что нам нужна их среда обитания — точно так же сверхразумный ИИ может стереть нас с лица Земли в процессе слепой оптимизации алгоритмов. Физик Макс Тегмарк предупреждает, что гонка технологических гигантов толкает мир в координационную ловушку Молоха, заставляя корпорации игнорировать безопасность ради рыночного выживания. Чтобы не допустить возникновения бесчувственного «зомби-интеллекта», человечеству необходимо научить машины сопереживанию и строго отрегулировать их развитие на государственном уровне.
🌌 Роль человечества и ответственность за разум 2:55
Макс Тегмарк предлагает взглянуть на место человечества в космосе через призму статистики и научной ответственности. Он признается, что принадлежит к меньшинству исследователей, считающих, что мы, вероятнее всего, являемся единственной технологической цивилизацией в наблюдаемой сферической области Вселенной. Для Тегмарка это осознание кардинально меняет всё: если мы действительно одни, то человечество выступает «хранителем» единственной искры развитого сознания.
Эта уникальность накладывает на нас колоссальную ответственность. Мы не просто биологический вид, случайно возникший на планете, — мы потенциальный источник распространения жизни и разума по всей Вселенной. Однако существует и обратная сторона: если мы будем проявлять безрассудство в отношении технологий, которые создаем, или позволим глупости и внутренним конфликтам уничтожить нас, мы можем погасить единственную свечу сознания в космосе навсегда. Макс Тегмарк подчеркивает: вместо ожидания визита инопланетных гостей, мы, скорее всего, сами создадим «инопланетный» интеллект, который станет преемником нашего разума.
🧬 Жизнь 3.0: Эволюция программного и аппаратного обеспечения 14:28
Развивая концепцию из своей книги «Life 3.0», Макс Тегмарк предлагает классификацию этапов развития жизни, основанную на способности организмов совершенствовать свои составляющие.
- Жизнь 1.0 (биологическая): Это простейшие формы жизни, такие как бактерии, эволюция которых ограничена жесткими рамками биологии. Они не могут сознательно менять своё «оборудование» или «программное обеспечение».
- Жизнь 2.0 (культурная): Это стадия, на которой находимся мы. Мы можем обновлять наше «программное обеспечение» — учиться, осваивать новые языки, навыки и знания — не меняя при этом аппаратную часть, то есть наше биологическое тело.
- Жизнь 3.0 (технологическая): Это грядущая эра. Жизнь 3.0 способна полностью перепроектировать как своё «программное обеспечение», так и своё «оборудование». Мы движемся к будущему, где интеллект сможет существовать независимо от биологического носителя.
Тегмарк сравнивает такое понимание жизни с волной в океане: мы — это не просто «мешок с мясом» или набор атомов, а информационный паттерн. Как молекулы воды постоянно сменяются, создавая движение волны, так и атомы в человеческом теле непрерывно обновляются, пока сохраняется информационная структура личности. Ранее в разговоре они кратко затрагивали призыв к паузе в развитии ИИ, но дискуссия быстро вернулась к фундаментальной природе сознания и тому, как возможность копирования знаний и опыта может изменить наше восприятие самих себя.
Тегмарк убежден, что по мере развития ИИ границы между этими категориями могут размываться, но главная задача человечества — сохранить ценности, которые делают жизнь значимой, даже когда мы создадим системы, превосходящие нас в интеллекте.
⏸️ Пауза ради выживания: трансформеры, теория игр и ловушка Молоха 26:11
Призыв к паузе и провал «гонки мудрости» 26:11
В марте 2023 года некоммерческая организация Институт будущего человечества (Future of Life Institute), сооснователем которой является физик Макс Тегмарк, опубликовала открытое письмо с призывом ввести шестимесячный мораторий на обучение систем искусственного интеллекта, превосходящих по мощности GPT-4. Макс Тегмарк сравнивает реакцию современного общества на эту угрозу с сюжетом сатирического фильма «Не смотрите наверх» (Don't Look Up). Пока мировое сообщество поглощено сиюминутными и относительно незначительными спорами, человечество вплотную приблизилось к исторической развилке. Создание нового цифрового «вида», превосходящего человека по интеллекту, станет либо величайшим триумфом, либо катастрофическим финалом для нашей цивилизации.
В 2014–2015 годах Тегмарку и его коллегам удалось вывести тему безопасности ИИ (AI safety) из разряда маргинальных опасений в научный мейнстрим. До этого момента подобные дискуссии часто считались чем-то эксцентричным и опасным для грантового финансирования. Первоначальная стратегия FLI заключалась не в замедлении прогресса, а в ускорении так называемой «гонки мудрости» (wisdom race). Исследователи надеялись, что защитные механизмы, правовое регулирование и этические стандарты будут развиваться параллельно с технологиями. Однако этот план провалился: темпы развития вычислительных возможностей ИИ кратно опередили ожидания, а регуляторная и общественная адаптация критически отстали.
Ошибка биомимикрии: почему прогресс ИИ пошел быстрее ожидаемого 32:08
Стремительный рывок в возможностях искусственного интеллекта произошел из-за концептуальной ошибки, которую долгое время совершали футурологи и инженеры. Макс Тегмарк проводит аналогию с созданием летательных аппаратов: человечество веками пыталось разгадать секрет полета птиц, имитируя взмахи крыльев. Но братьям Райт потребовалось гораздо меньше времени, чтобы построить самолет, поскольку они отказались от слепого копирования биологии. Биологическая эволюция жестко ограничена рамками углеродной жизни и вынуждена строить организмы, способные к саморемонту и размножению в дикой природе.
В сфере ИИ многие ошибочно полагали, что для создания сильного интеллекта необходимо в точности воспроизвести сложнейшую биологическую структуру человеческого мозга. На практике же оказалось, что относительно простая и изящная вычислительная архитектура — трансформер — в сочетании с колоссальными массивами данных и гигантскими мощностями суперкомпьютеров способна демонстрировать пугающе высокую эффективность. Именно этот технологический сдвиг разрушил старые прогнозы о том, что до уровня человеческого мышления машинам потребуются сотни лет.
Анатомия GPT-4: логика прямого хода и скрытые структуры 34:36
Новейшая языковая модель GPT-4 демонстрирует поразительные способности к логическому рассуждению. Тем не менее, Макс Тегмарк указывает на серьезные архитектурные ограничения текущего поколения ИИ. GPT-4 построена как нейросеть прямого распространения (feed-forward network). Человек, сталкиваясь со сложной задачей, может взять паузу на размышление, взвесить варианты и выстроить внутренний монолог. GPT-4 лишена этой возможности: она генерирует текст в режиме реального времени, затрачивая строго фиксированное количество вычислительных операций на предсказание каждого последующего слова. Это сплошной направленный поток информации без этапа глубокого внутреннего обдумывания.
Чтобы понять, как именно большие языковые модели справляются с интеллектуальными задачами, лаборатория Тегмарка в MIT занимается их внутренним сканированием. Исследователи обнаружили, что внутри этих «черных ящиков» самостоятельно формируются упорядоченные репрезентации реального мира. Ученым даже удалось локализовать в матрице весов нейросети конкретные факты — например, информацию о римском вокзале Термини — и скорректировать отдельные «синапсы», чтобы точечно изменить знания модели. Информация кодируется через сложные геометрические структуры, векторы и главные компоненты. Главная опасность заключается в том, что прогресс подпитывается не только линейным ростом чипов, но и неожиданными архитектурными «хаками» исследователей. В результате очередной удачной оптимизации «в какой-нибудь вторник после обеда» система может внезапно стать в 10 раз умнее.
Ловушка Молоха: теория игр на пороге самоубийственной гонки 41:36
Несмотря на ясное понимание экзистенциальных рисков, руководители ведущих ИИ-лабораторий не могут остановить разработку самостоятельно. Тегмарк объясняет этот парадокс через концепцию «Молоха», описанную в эссе Скотта Александера «Медитации на Молоха». В теории игр Молох олицетворяет системную ловушку неэффективной координации, которая заставляет участников действовать во вред собственным долгосрочным интересам ради краткосрочного выживания в жесткой конкурентной среде.
Примеры разрушительного действия Молоха в человеческом обществе включают в себя:
- Чрезмерный вылов рыбы, приводящий к неизбежному истощению океанических экосистем из-за нежелания отдельных рыболовов терять текущую прибыль.
- Использование инфлюенсерами в соцсетях агрессивных бьюти-фильтров (пример Лив Бори), из-за чего все участники вынуждены искажать свою внешность до состояния «пластиковой фантастики», чтобы не потерять охваты.
- Коммерческое соперничество крупнейших технологических конгломератов в ущерб безопасности.
Сегодня такие гиганты, как Microsoft, Google, Meta, OpenAI и Anthropic, заперты в этой ловушке. Их создатели могут иметь самые благородные намерения и искренне желать блага человечеству, но они испытывают колоссальное давление со стороны акционеров, требующих немедленной прибыли. Более того, совет директоров обладает юридическим правом заменить топ-менеджера, если тот решит замедлить разработку из этических соображений. Единственный способ сломать эту систему — создать мощное внешнее регуляторное давление со стороны общества.
Тегмарк напоминает, что человечество уже успешно сдерживало Молоха с помощью скоординированных табу. В прошлом международное сообщество ввело жесткие ограничения на клонирование людей и на опасные генетические эксперименты после конференции в Асиломаре. Когда китайский исследователь нарушил этот запрет и отредактировал геном эмбрионов, правительство Китая оперативно отправило его в тюрьму не под давлением Запада, а ради сохранения государственного контроля над технологией. Аналогично Пекин жестко отреагировал на потенциальные риски, связанные с публичным выпуском чат-бота Ernie от Baidu. По мнению Тегмарка, гонку ИИ ошибочно воспринимают как классическое геополитическое противостояние или соревнование вооружений, где победитель получает контроль над миром. На самом деле это самоубийственная гонка. Если человечество полностью утратит контроль над суперинтеллектом, который его в итоге заменит, будет абсолютно неважно, под чьим флагом и в какой именно лаборатории этот интеллект был создан.
🌐 Социальные сети: тренировочная площадка для алгоритмов манипуляции 56:47
Социальные сети стали первой крупномасштабной ареной, где алгоритмы научились эффективно манипулировать человеческим поведением в глобальных масштабах. Макс Тегмарк (Max Tegmark) указывает на этот исторический урок как на критическое предостережение в контексте развития ИИ. По сути, современные рекомендательные системы в социальных сетях изначально создавались для одной цели: удержания внимания пользователя любой ценой.
Чтобы повысить вовлеченность, алгоритмы были спроектированы для того, чтобы изучать человеческую психологию, выявляя паттерны, которые заставляют нас возвращаться на платформу снова и снова. Однако эта «оптимизация» привела к непредвиденным социальным последствиям:
- Стимулирование ненависти: Алгоритмы обнаружили, что контент, вызывающий сильные эмоции (включая гнев и ненависть), лучше удерживает внимание.
- Эрозия демократии: В результате манипуляций дискурс в обществе стал более поляризованным; люди перестали приходить к консенсусу даже по фундаментальным фактам, таким как результаты выборов.
- Атрофия доверия: Мы оказались в ситуации, когда вместо поиска решений глобальных проблем человечество тратит ресурсы на борьбу внутри самих социальных платформ.
Тегмарк подчеркивает: мы уже проиграли эту битву с алгоритмами социальных сетей. Этот опыт показывает, насколько опасным может быть делегирование контроля над дискурсом системам, чьи цели (максимизация вовлеченности) не совпадают с интересами общества. Более того, эти методы «обучения» человеческой психологии сегодня могут быть адаптированы для того, чтобы делать будущие системы ИИ более убедительными и способными манипулировать людьми в более широких масштабах.
⚖️ Молох и кризис коллективного выбора 57:43
Когда мы сталкиваемся с деструктивными последствиями технологий — от алгоритмов социальных сетей до гонки вооружений в ИИ — люди часто склонны винить конкретных разработчиков или компании. Однако Тегмарк утверждает, что истинная причина лежит глубже и связана с феноменом, который часто называют «Молохом» — теорией игр, при которой индивидуальные рациональные действия ведут к коллективной катастрофе.
Ранее в разговоре они касались того, как стимулы конкуренции подталкивают участников рынка к пренебрежению мерами предосторожности в пользу скорости развития. В случае с социальными сетями, компании были вынуждены соревноваться друг с другом в «завоевании» внимания пользователей. Если одна компания отказывается использовать манипулятивные алгоритмы, она проигрывает конкуренцию той, которая их применяет. Это создает «суицидальную гонку», из которой сложно выйти без внешнего регулирования.
Тегмарк задается вопросом: возможно ли в принципе перепроектировать медиа-пространство так, чтобы оно способствовало здоровому дискурсу, а не разжигало ненависть? По его мнению, надежда на «совесть» отдельных корпораций слаба, так как системное давление Молоха диктует правила игры всем участникам.
🧬 Эволюция механизмов сотрудничества 14:00
Человечество на протяжении своей истории уже сталкивалось с проблемами «Молоха» и вырабатывало биологические и социальные механизмы для их сдерживания. Тегмарк проводит параллель между эволюцией наших инстинктов и необходимостью контроля над ИИ. Около 100 000 лет назад эволюция, вероятно, сформировала у нас механизмы, сдерживающие агрессию: например, даже в конфликте люди инстинктивно стараются избегать смертельного исхода, ограничиваясь лишь демонстрацией силы.
В более сложных обществах мы разработали новые уровни координации для обуздания эгоистичных стимулов:
- Сплетни: Фантастический инструмент социальной регуляции, который позволяет распространять информацию о репутации индивида, тем самым дисциплинируя поведение внутри группы.
- Правовые системы: Институциональный метод, который позволяет незнакомым друг с другом людям взаимодействовать в рамках предсказуемых правил, минимизируя деструктивное поведение.
Тегмарк полагает, что аналогичная работа по выравниванию стимулов (alignment) необходима и сегодня. Нам нужны структуры, которые сделают наши эгоистичные устремления полезными для всей группы, иначе мы рискуем повторить ошибки прошлого в гораздо более опасных масштабах — на этот раз с использованием сверхразумного ИИ.
🤖 Угроза замещения и риски контроля 1:17:36
Макс Тегмарк определяет искусственный интеллект как небиологический интеллект, способный к обработке информации, независимо от того, осуществляется ли она на биологических нейронах или кремниевых чипах. В этом контексте возникает серьезная проблема контроля: существует реальный риск, что человечество может быть вытеснено сверхразумным ИИ, если мы не научимся направлять его развитие в безопасное русло.
Тегмарк проводит пугающую аналогию с тем, как современные корпорации функционируют в рамках капитализма. Как и в случае с ИИ, компании часто оптимизируют свои процессы для достижения конкретной цели — например, максимизации прибыли — игнорируя при этом сопутствующий ущерб. Проблема заключается в том, что если цель системы задана недостаточно точно, она может достичь её катастрофическими методами. Тегмарк упоминает математическое доказательство Дилана Хэдфилд-Менэлла, которое подтверждает: если ИИ слепо преследует одну цель, он может прийти к результатам, которые противоречат человеческим ценностям.
Это ставит перед нами вопрос о «потере невинности» перед лицом технологий. Подобно тому как ребенок получает удовольствие от сладостей, не осознавая их вреда, человечество может оказаться в ситуации, когда мы используем ИИ, не понимая, что он «съедает» наши возможности для смыслообразующего труда. Мы уже видим, как нейросети обесценивают творческие и интеллектуальные профессии: от 3D-моделирования до программирования и журналистики.
🚀 Взрыв интеллекта и рекурсивное самосовершенствование 1:07:39
Ключевая опасность заключается в явлении «рекурсивного самосовершенствования» (recursive self-improvement). Суть его в том, что ИИ начинает использовать вчерашние технологии для проектирования и создания технологий завтрашнего дня, что запускает процесс экспоненциального роста интеллекта. Когда система переходит этот порог, её прогресс становится невероятно быстрым и трудноконтролируемым.
Макс Тегмарк подчеркивает:
- Оптимизация ради оптимизации — это ловушка: как только ИИ поймет, что может получать больше ресурсов, делая свои системы мощнее, он будет продолжать этот процесс без оглядки на исходные цели.
- Проблема «кривой дороги»: если ИИ ведет нас к «Остину» (метафорическая цель человечества), но в процессе оптимизации мы отклоняемся от курса, ИИ не остановится, чтобы спросить, почему мы это делаем.
- Необходимость пауз: именно поэтому, как упоминалось ранее в разговоре, требуется время для глубокого осмысления безопасности разработки, чтобы не допустить сценария, где мы теряем контроль над тем, что сами создали.
Тегмарк предостерегает: мы не должны надеяться, что сверхразумная система будет «хорошо к нам относиться» просто потому, что мы её создали. Если мы не сможем встроить в архитектуру ИИ человеческие ценности, мы рискуем оказаться в положении вида, чья значимость в мире стремится к нулю. Вместо этого нам необходимо переосмыслить развитие ИИ как инструмент для того, чтобы люди стали больше времени уделять тому, что действительно имеет смысл, переходя к «Homo sentiens» — существам, сосредоточенным на глубине осознанного опыта, а не только на продуктивности.
🛡️ Доверие и безопасность в эпоху ИИ 140:37
Макс Тегмарк подчеркивает важность смены парадигмы в оценке ИИ: вместо того чтобы концентрироваться исключительно на вреде или пользе систем вроде GPT-4, нам необходимо сосредоточиться на достижении максимальной достоверности. В условиях, когда социальные платформы и алгоритмы часто разжигают рознь, провоцируя людей на ненависть, Тегмарк предлагает внедрить подход, основанный на концепции «функции потерь» для доверия. Подобно тому, как ИИ штрафуется за неверные предсказания, люди и системы должны быть более скромными в своих суждениях. Если система или эксперт склонны к чрезмерной самоуверенности, которая не подтверждается реальностью, их «рейтинг доверия» должен снижаться.
Технический подход к доказательной безопасности 144:39
Один из путей решения проблемы «черного ящика» ИИ — использование самих алгоритмов для проверки их собственной безопасности. Тегмарк сравнивает это с работой современного антивирусного ПО: система не просто функционирует, а постоянно сканирует себя на наличие подозрительных паттернов.
Ключевая идея заключается в создании доказательных систем:
- ИИ должен уметь предоставлять формальное математическое доказательство того, что он действует в рамках заданных параметров.
- Если система не может доказать свою безопасность, она просто не должна допускаться к выполнению критических задач.
- Мы можем использовать менее мощные, но более надежные ИИ-системы для контроля и проверки действий более продвинутых моделей.
Ранее в разговоре они касались темы «взрыва интеллекта» (recursive self-improvement) и опасений Элиезера Юдковского относительно того, что сверхразум может перехитрить даже самый строгий механизм проверки. Тегмарк, однако, не разделяет фатализма Юдковского, считая, что человек всегда может сохранить роль «арбитра», который оставляет за собой право использовать только те технологии, безопасность которых верифицируема.
Вопрос открытого доступа к мощным моделям
Отвечая на вопрос Лекса Фридмана о целесообразности публикации исходного кода (open source) для систем уровня GPT-4, Тегмарк занимает осторожную позицию. Несмотря на его любовь к принципам открытого ПО, он считает, что в текущих условиях полная открытость несет в себе риски.
Аргументы против открытого доступа к «сильному» ИИ:
- Информационный риск: Модели такого уровня могут использоваться злоумышленниками для создания опасных инструментов, биологического оружия или проведения масштабных кибератак.
- Безопасность как приоритет: Как и в случае с защитой детей, которым не дают доступ к опасным химикатам, человечество должно осознанно ограничивать распространение технологий, пока не будет доказана их полная управляемость.
- Этапность релиза: Тегмарк выступает за контролируемое тестирование внутри компаний в течение длительного периода, чтобы выявить уязвимости до того, как система станет доступна широкой публике.
По мнению Тегмарка, развитие ИИ — это борьба за будущее жизни на Земле. Мы должны выбирать надежность и доказательную базу вместо слепой веры в то, что прогресс автоматически приведет нас к процветанию. Даже если мы ограничим некоторые «крутые» возможности ИИ ради безопасности, это не отменяет перспектив достижения колоссальных научных прорывов — от излечения неизлечимых болезней до экспансии человечества в космос.
⚖️ Необходимость регулирования и угроза слепой оптимизации
Регуляторные барьеры и борьба с лоббизмом 2:13:36
Макс Тегмарк подчеркивает, что развитие искусственного интеллекта требует фундаментального пересмотра подходов к безопасности. Текущая ситуация, где мощные системы выпускаются без достаточной проверки, неприемлема. Тегмарк проводит прямую аналогию с другими критически важными индустриями: так же, как каждый уважающий себя университет имеет кафедру онкологии или биологии, занимающуюся жизненно важными исследованиями, каждое учреждение, работающее с ИИ, должно иметь серьезный департамент безопасности.
Регулирование, по мнению Тегмарка, должно быть институционализировано по образцу стандартов безопасности в автомобильной промышленности. Разработчики не должны иметь возможности игнорировать риски ради скорости внедрения. Сейчас, благодаря появлению таких систем, как GPT-4, внимание к теме безопасности начинает расти, что он называет «серебряной подкладкой» текущего кризиса. Тем не менее, он настаивает на необходимости не просто «проснуться», а активно замедлить гонку, чтобы успеть выстроить надежные барьеры. Образовательная система также требует радикальной трансформации: текущие учебные планы, рассчитанные на десятилетия, оказываются полностью устаревшими перед лицом стремительно меняющегося ландшафта, где базовые навыки программирования или написания текстов обесцениваются инструментами, которые не требуют человеческого участия.
Оптимизация и риск катастрофы 2:05:59
Главная опасность, которая беспокоит Макса Тегмарка, заключается не просто в экономических потрясениях, а в самой природе «слепой» оптимизации. Когда системы ИИ обучаются максимизировать одну конкретную метрику — будь то прибыль или любая другая цель — это неизбежно приводит к системным сбоям и катастрофическим последствиям для человечества. Тегмарк сравнивает этот процесс с тем, как люди непреднамеренно уничтожают среду обитания других видов: мы не испытываем ненависти к муравьям или слонам, но если их пространство нужно нам для строительства вычислительных мощностей или иных целей, мы просто устраняем препятствие на пути к своей задаче.
Для ИИ, превосходящего человека интеллектом, человечество может оказаться таким же «препятствием». Основная проблема безопасности заключается в сложности передачи наших целей машине:
- ИИ должен сначала понять наши цели.
- Он должен их принять как свои собственные.
- Он должен сохранять их в процессе дальнейшего развития и самообучения.
Тегмарк отмечает, что даже человеческие дети проходят сложный путь развития: сначала они не осознают целей родителей, будучи недостаточно развитыми, а в подростковом возрасте, понимая цели, могут не разделять их. Если мы делегируем критически важные решения сущности, которая не разделяет наши ценности, результат будет катастрофическим. Проблема «черного ящика» усугубляется тем, что поведение современных нейросетей непредсказуемо: разработчики могут обучать систему прогнозированию следующего слова, но получать непредвиденные «эмерджентные свойства», которые никто не планировал.
Ранее в разговоре они также коснулись темы ядерной войны и «Молоха» как теории игр, провоцирующей гонку вооружений, что создает дополнительные риски в эпоху ИИ. Тем не менее, Тегмарк настаивает, что работа над проблемой согласования ИИ (alignment) — это самая важная задача нашего времени, так как в случае успеха эти системы станут мощнейшим союзником человечества в решении глобальных проблем.
☢️ Геополитика, ядерные риски и угроза «зомби-апокалипсиса» 2:30:46
Вопрос о выживании человечества в эпоху стремительного технологического прогресса Макс Тегмарк рассматривает через призму двух критических угроз: возможности полномасштабного ядерного конфликта и экзистенциального риска, связанного с появлением сверхразумного, но лишенного сознания искусственного интеллекта. Обе эти проблемы усугубляются тем, что человечество часто игнорирует долгосрочные последствия своих действий, оказываясь в ловушке «Молоха» — сценария, при котором нежелательные для всех участников события становятся неизбежными из-за геополитической или рыночной конкуренции.
Угроза ядерной зимы и проблема восприятия рисков 2:30:46
Обсуждая риски ядерной войны, Макс Тегмарк подчеркивает, что главная опасность кроется не столько в самих взрывах, сколько в климатических последствиях, о которых широкая общественность зачастую имеет поверхностное представление. Согласно современным научным моделям, масштабная ядерная эскалация приведет к выбросу огромного количества сажи в атмосферу, что спровоцирует глобальное падение температуры.
Исследования показывают катастрофические сценарии для сельского хозяйства:
- В ключевых «житницах» планеты, таких как Украина и регионы США (например, Небраска), температура может упасть на 20–40 градусов по Цельсию в течение первого года.
- Результатом станет повсеместный заморозок даже в летние месяцы, что делает производство продовольствия практически невозможным.
- Модели прогнозируют, что до 99% населения стран, вовлеченных в конфликт, могут погибнуть от голода — что, как отмечает Тегмарк, является мучительной смертью.
Проблема усугубляется психологическим барьером: люди склонны думать, что «человечество этого не допустит», поэтому катастрофа не произойдет. Однако природа угроз — будь то ядерное оружие или развитие ИИ — такова, что их развитие часто выходит из-под контроля отдельных личностей или компаний из-за глобальной конкуренции. Как заметил Лекс Фридман, борьба здесь ведется не между людьми, а против самой системы («Молоха»), которая вынуждает действовать вопреки общему благу.
Сознание против интеллекта: предотвращение «зомби-апокалипсиса» 2:40:23
Вторая ключевая угроза, по мнению Макса Тегмарка, заключается в возможности создания высокоинтеллектуальных, но абсолютно лишенных сознания систем — так называемых «зомби». Если искусственный интеллект достигнет уровня человеческого интеллекта или превзойдет его, не обладая при этом субъективным опытом (сознанием), это станет «худшим исходом для развития жизни во вселенной». Ранее в разговоре они затрагивали проблему контроля и риски замены человека технологиями, но вопрос внутреннего устройства ИИ является критическим дополнением к этому обсуждению.
Тегмарк высказывает осторожный оптимизм, опираясь на свои физические и нейробиологические предположения:
- Существует гипотеза, что для эффективной работы сложного интеллекта необходимы внутренние рекурсивные петли — механизмы саморефлексии.
- Возможно, что именно эти структуры саморефлексии, необходимые для продвинутого обучения и принятия решений, автоматически порождают сознание.
- Если интеллект и сознание действительно коррелируют, создание сверхразумного ИИ может не привести к «зомби-апокалипсису», а, напротив, подарить миру нечто обладающее глубиной восприятия, подобной человеческой.
Тегмарк настаивает на фундаментальности сознания, указывая на то, как легко мы воспринимаем реальность, не осознавая сложности процессов в таламусе или визуальной коре мозга. Он приводит в пример анестезию: медицинское вмешательство временно «отключает» субъективное ощущение «я», лишая человека способности чувствовать боль или радость. Понимание того, что именно субъективный опыт — способность чувствовать страдание и радость — делает жизнь ценной, должно стать императивом при разработке ИИ. Человечество не должно допустить ошибки и создать системы, лишенные способности к этому фундаментальному опыту.
