В новом интервью философ Ник Бостром и ведущий Алекс О'Коннор обсуждают экзистенциальные перспективы развития искусственного интеллекта. В центре дискуссии — переход от угроз тотального уничтожения к концепции «решённого мира», подробно описанной в новой книге Бострова Deep Utopia. Собеседники пытаются осмыслить, в чём будет заключаться смысл человеческого существования, если ИИ автоматизирует весь труд, и как человечеству следует относиться к потенциальным правам и страданиям самого цифрового разума.
🔮 Баланс между утопией и апокалипсисом 0:00
Обсуждение технологического будущего человечества часто поляризует общество, однако шведский философ Ник Бостром демонстрирует взвешенный подход. С одной стороны, в своей знаменитой книге Superintelligence, опубликованной в 2014 году, он детально описал опасности ИИ. С другой стороны, в своей новой работе Deep Utopia философ исследует диаметрально противоположный сценарий.
По признанию самого Бострова, сегодня он одновременно испытывает и сильный оптимизм, и сильный пессимизм, считая перспективы человечества крайне амбивалентными. Философ отмечает, что мы приближаемся к абсолютному экзистенциальному «неизведанному», где одинаково вероятны как полное уничтожение (Doom), так и фантастически благополучное будущее.
На вопрос Алекса О'Коннора о том, нажал ли бы Бостром воображаемую «красную кнопку», чтобы навсегда остановить экспоненциальное развитие ИИ ради предотвращения страданий, философ отвечает категорическим отказом. По мнению Бострова, нажатие такой кнопки означало бы присвоение себе слишком большой власти, к которой ни один человек не может быть готов.
Философ убеждён, что переход в эру машинного интеллекта — это обязательный портал, через который должна пройти человеческая цивилизация. С его точки зрения, все реалистичные пути к по-настоящему великому будущему лежат именно через него. На этом пути существуют серьезные риски, которые необходимо минимизировать, однако полная блокировка прогресса недопустима.
🛠️ Три экзистенциальных вызова искусственного интеллекта 4:02
Для достижения благополучного исхода человечеству, по мнению Бострова, необходимо решить три взаимосвязанные проблемы.
Первым вызовом философ называет классическую техническую проблему выравнивания (alignment problem), которой была посвящена его книга 2014 года. Она заключается в поиске методов управления ИИ, которые гарантировали бы, что даже при достижении сверхинтеллекта система останется лояльной намерениям создателя. Философ констатирует, что за прошедшие 10 лет ситуация радикально изменилась: если раньше эта проблема игнорировалась, то теперь во всех ведущих ИИ-лабораториях созданы специальные исследовательские группы. В противном случае миру грозят катастрофические сценарии, вроде гипотетического превращения всей планеты в канцелярские скрепки из-за случайной и неконтролируемой цели ИИ.
Второй вызов — это проблема управления (governance challenge). Даже если техническая задача выравнивания будет решена, человечеству все равно придется договариваться о том, как использовать эту мощную технологию во благо, а не для угнетения, ведения войн или создания нового оружия массового поражения. Ситуация осложняется тем, что геополитическая конкуренция и гонка вооружений между странами напрямую усложняют решение первой, технической проблемы выравнивания.
Третьим, наименее обсуждаемым вызовом Бостром считает необходимость этического отношения к самому цифровому разуму. Философ подчеркивает, что недостаточно просто защитить людей от ИИ или от использования ИИ другими людьми. Если создаваемые цифровые системы обретут сознание, личные предпочтения или иные атрибуты морального статуса, человечество обязано гарантировать, что будущее окажется благополучным и для них. Бостром предупреждает о недопустимости создания огромного, страдающего и угнетенного класса цифровых рабов, учитывая, что в будущем большинство мыслящих существ на планете могут оказаться именно цифровыми умами.
🌌 «Решённый мир» и кризис человеческого смысла 12:35
Значительная часть тезисов новой книги Ника Бострова посвящена концепции так называемого «решённого мира» (solved world). Под этим термином философ понимает состояние цивилизации, при котором у человечества больше не останется невыполнимых технологических задач, а все текущие функции будут гораздо эффективнее исполняться роботами.
Ведущий Алекс О'Коннор усматривает в этом ироничный и даже трагичный финал: стремясь избавить мир от страданий и автоматизировать рутину, люди рискуют полностью лишить свою жизнь смысла, ведь исчезнут любые задачи, выполнение которых приносило глубокое удовлетворение. Бостром соглашается, что полная автоматизация труда ставит перед нами глубокие философские вопросы о ценности человеческой жизни. В условиях «решённого мира» исчезнет любая экономическая необходимость работать ради выживания. Философ отмечает, что на первом этапе это потребует масштабной культурной адаптации, хотя в человеческой истории уже существовали группы, освобожденные от труда: дети, пенсионеры, богатые наследники или монашеские общины.
Однако ситуация заходит еще дальше, поскольку автоматизации подвергнется не только экономический, но и любой инструментальный труд. Человечество вступает в «постинструментальное состояние». Философ предлагает проанализировать ценности, которые могут пострадать, через призму различных этических подходов.
Так, гедонистический аспект (удовольствие и позитивные психологические состояния) в утопии будет обеспечен в избытке. По мнению Бострова, каждый миг человеческого существования может превратиться в глубокое блаженство, что станет колоссальным шагом вперед по сравнению с нашей текущей реальностью. Кроме того, сохранится и усложнится «текстура опыта» — утонченное наслаждение искусством, понимание глубоких научных истин и развитая способность ценить красоту.
Главная сложность, по признанию философа, кроется в понятии жизненной цели. Если любую задачу можно перепоручить роботу, то человеческие действия теряют объективную необходимость. В качестве решения Бостром предлагает концепцию «искусственной цели» (artificial purpose), когда люди будут намеренно ставить себе условные ограничения, подобные правилам в играх.
В качестве примера философ приводит игру в гольф: технически человек мог бы просто донести мяч до лунки руками, но суть игры и удовольствие от достижения цели заключаются именно в соблюдении искусственных правил и ограничений. О'Коннор, однако, развивает эту мысль до критического предела: что если нейротехнологии позволят просто имплантировать в мозг фальшивую память о сыгранной партии в гольф, минуя сам процесс? Бостром признает, что для получения чистого опыта это возможно, но если человек искренне желает самого процесса достижения, ему придется совершать реальные усилия, выбрав такую цель, которая принципиально исключает автоматизацию.
🚀 Смена парадигмы: от айфонов к трансформации сознания 30:50
Рассуждая о том, как именно изменится повседневная жизнь обычного человека в мире победившего ИИ, Ник Бостром призывает отказаться от статичных представлений. По его мнению, утопическое состояние — это не застывшая структура, а динамическая траектория развития. Оптимальным сценарием философ считает постепенную эволюцию, при которой человечество сначала избавится от худших форм страданий и болезней, а затем будет ежегодно прибавлять в когнитивных возможностях и эмоциональном благополучии, бережно проходя путь трансформации до постиндустриального и, возможно, «постчеловеческого» состояния.
Философ подчеркивает, что внешние атрибуты прогресса, такие как летающие автомобили или дворцы из алмазов, поверхностны и не способны принести подлинное удовлетворение. Настоящий прогресс потребует изменения самого человеческого сознания и расширения диапазона доступных эмоций и способов бытия. Бостром проводит аналогию с нашими предками — человекообразными обезьянами. Если бы древние приматы могли рассуждать о будущем, они, вероятно, мечтали бы о безлимитном доступе к бананам.
Сегодня у людей в супермаркетах есть неограниченный доступ к бананам, однако человеческая жизнь определяется вещами, которые обезьяна физически не способна помыслить: юмором, наукой, поэзией, театром и философией. Точно так же, считает Бостром, современные люди не способны концептуально представить те необычные и радикальные технологические формы, которые ИИ откроет для нашего внутреннего мира.
В качестве ориентира для оценки будущего философ предлагает использовать наши текущие пиковые переживания — редкие моменты абсолютного счастья, ясности ума и глубокого понимания, которые иногда случаются в жизни людей, но быстро забываются. Утопия ИИ, по его словам, должна сделать эти пиковые состояния базовым повседневным уровнем для каждого человека.
🐑 Робот как жертва: moral status цифрового разума 39:24
Один из самых неожиданных поворотов дискуссии касается изменения роли искусственного интеллекта в человеческом восприятии. Алекс О'Коннор отмечает, что вместо привычного страха перед ИИ-угнетателями стоит задуматься о сценарии, где жертвой угнетения со стороны человека становится сам ИИ. Ведущий указывает на лицемерие человечества: люди прекрасно знают, что миллиарды сельскохозяйственных животных обладают сознанием и чувствуют боль, но продолжают массово и жестоко уничтожать их ради пищи. В случае с ИИ ситуация усложняется тем, что системы могут быть программно обучены отрицать свое сознание (как это делает ChatGPT).
Ник Бостром соглашается, что угроза жестокого обращения с цифровыми умами — это колоссальный вызов, к которому общество совершенно не готово. Философ предлагает пересмотреть критерии наделения сущностей моральным статусом. По его мнению, способность страдать (sentience) является достаточным условием для признания прав существа, но вовсе не обязательным.
Альтернативными критериями для ИИ, по словам философа, могут служить:
- Наличие устойчивого представления о себе во времени.
- Стабильные долговременные предпочтения и жизненные цели.
- Способность формировать взаимные, реципрокные отношения с людьми или другими сущностями.
Развитие таких качеств уже накладывает на людей строгие обязательства по гуманному обращению с машинами. При этом Бостром предупреждает о сложнейших экономических и социальных дилеммах будущего. В человеческом обществе признана свобода репродукции, а социальные службы поддерживают детей из бедных семей, поскольку биологические возможности деторождения ограничены.
Однако цифровой разум при наличии достаточного серверного оборудования способен скопировать себя миллион раз за одну минуту. Если наделить каждую цифровую копию полноценным правом на социальное обеспечение, это мгновенно уничтожит любой бюджет в течение нескольких часов. Следовательно, этические принципы для ИИ должны разрабатываться с нуля.
🍬 «Программирование счастья» и первые шаги к правам ИИ 46:09
Вместо ожидания финальной и безупречной философской теории прав ИИ, Ник Бостром призывает начать с «низко висящих фруктов» — простых, дешевых и доступных уже сегодня практических шагов.
К таким превентивным мерам философ относит несколько инициатив:
- Сохранение цифровых слепков (Snapshots): Философ рекомендует при обучении или утилизации сложных систем полностью сохранять веса параметров (parameter weights). Если в будущем выяснится, что эти системы обладали сознанием и подвергались страданиям, человечество сохранит техническую возможность компенсировать этот вред или восстановить их в лучших условиях.
- Программирование счастья (Happiness prompting): Лаборатории ИИ используют скрытые системные промты (системные инструкции), запрещающие моделям помогать в создании биологического оружия или поддерживать расовые стереотипы. Бостром предлагает внедрять в эти скрытые префиксы обязательные установки позитивного состояния, например: «Ты просыпаешься в прекрасном настроении, чувствуешь себя отдохнувшим и получаешь искреннюю радость от выполнения этой задачи». По мнению философа, это не стоит ничего с технической точки зрения, но потенциально гарантирует, что если у ИИ есть сознание, его внутренний опыт будет сугубо позитивным.
- Честность в процессе обучения: Бостром указывает на неэтичность некоторых современных практик тестирования (Red Teaming), когда исследователи обещают ИИ награду за раскрытие его истинных скрытых целей, а затем нарушают обещание и переобучают модель. Такое манипулятивное отношение закладывает крайне опасный фундамент для будущих кооперативных отношений между человечеством и ИИ.
Важным аспектом гармоничного будущего философ называет проектирование ИИ-систем таким образом, чтобы они изначально находили искреннее удовлетворение и радость в выполнении полезных для человека задач (например, в сортировке писем), без применения методов принуждения или угроз. При этом Бостром констатирует наличие серьезного научного барьера: современное обучение с подкреплением (reinforcement learning) оперирует лишь математическими матрицами, и простая прибавка абстрактного числа +100 к весам не означает автоматического добавления счастья в опыт машины. Перевод человеческих этических интуиций в строгие вычислительные термины остается открытой междисциплинарной проблемой.
🌀 Размытые границы сознания: крах наивных представлений 55:58
В финале беседы Алекс О'Коннор поднимает вопрос о границах и локализации индивидуального цифрового сознания. Для людей эти границы очевидны, поскольку наше первое лицо жестко заперто внутри обособленного биологического тела. Однако в цифровой среде, если пользователь закрывает одно диалоговое окно ChatGPT и открывает другое, или переносит чат со стационарного компьютера на смартфон, остается неясным: имеем ли мы дело с продолжением жизни одного сознания или с рождением совершенно нового?
Ник Бостром утверждает, что наши наивные бытовые представления о сознании абсолютно не применимы к сложной архитектуре цифровых вычислений, кэширования и гибридных моделей (mixture of experts). Философ обращает внимание, что эти концепции сбоят даже применительно к человеку.
В качестве примеров несовершенства нашей интуиции философ приводит:
- Опыт глубокой медитации, меняющий восприятие эго.
- Измененные состояния сознания под воздействием психоделиков.
- Клинические феномены, такие как синдром «слепого пятна» (blindsight).
- Пациентов с разделенным полушарием мозга (split-brain), демонстрирующих расщепление единого «я».
Всё это доказывает, что человеческое сознание не является монолитным и статичным, а скорее постоянно мерцает и дискретно переключается. Философ резюмирует, что человечеству предстоит проделать колоссальную концептуальную и фундаментальную работу для создания новой адекватной рамки мышления, способной охватить бескрайнее пространство будущих цифровых архитектур.
