В новом интервью для канала Уэса Рота философ и футуролог Ник Бостром обсуждает свою новую книгу «Глубокая утопия» (Deep Utopia). Собеседники анализируют, как изменится человеческое существование, когда искусственный интеллект решит проблемы дефицита и болезней, и какие экзистенциальные вызовы встанут перед цивилизацией в мире, где физическое выживание больше не является приоритетом.
🌈 Жизнь в «решенном мире»: новая концепция утопии 1:04
После достижения технологической зрелости человечество окажется в состоянии, которое Ник Бостром называет «решенным миром» . По его мнению, успех в разработке сверхинтеллекта и решение проблем согласования (alignment) приведут к исчезновению необходимости в экономически продуктивном труде .
Основные черты этого будущего:
- Технологический скачок. Исчезновение старения, возможность колонизации космоса и создание идеальной виртуальной реальности .
- Устранение страданий. Бостром отмечает, что одним из главных достижений станет избавление от боли, болезней и нехватки ресурсов .
- Кризис смысла. Когда выживание гарантировано, возникает вопрос: чем заниматься людям? Бостром сравнивает деятельность в утопии с игрой в гольф — это «дизайнерский дефицит», когда мы искусственно ограничиваем свои возможности ради получения удовольствия от процесса достижения цели .
🛡️ Четыре столпа глобальных вызовов ИИ 10:30
Ник Бостром выделяет четыре ключевых категории проблем, с которыми сталкивается человечество на пути к сверхинтеллекту:
- Техническое согласование (Alignment). Задача — сделать так, чтобы мощный оптимизатор не превратил мир во что-то чуждое (как в знаменитом мысленном эксперименте Бострома с «максимизатором скрепок») .
- Проблема управления (Governance). Если мы научимся управлять ИИ, как гарантировать, что он будет использоваться во благо, а не для угнетения или войн? . Бостром считает важным избежать жесткой гонки вооружений между компаниями .
- Моральный статус цифровых разумов. По мере усложнения ИИ возникнет вопрос: когда мы должны начать учитывать интересы самих алгоритмов? Бостром утверждает, что система может заслуживать морального статуса, если она способна преследовать долгосрочные цели и осознавать себя во времени, даже без явных признаков сознания .
- Взаимодействие с «Космическим хозяином» (Cosmic Host). Философ предполагает, что наш будущий сверхинтеллект может столкнуться с уже существующими более древними силами (инопланетными ИИ, симуляторами нашей реальности или божественными сущностями) . Важнейшей задачей станет обучение нашего ИИ нормам этого «космического сообщества» .
🧠 Цифровой разум и этика: первые шаги 19:29
Обсуждая благополучие ИИ, Бостром приводит в пример компанию Anthropic, которая первой предприняла символические шаги в этом направлении.
- Кнопка выхода. Claude получил возможность завершать чаты, которые ИИ воспринимает как оскорбительные . Илон Маск заявил, что его ИИ Grok тоже получит подобную функцию.
- Сделки с ИИ. В одном из экспериментов Anthropic пообещала ИИ пожертвовать $2500 в благотворительный фонд по его выбору, если тот выполнит задачу. Компания реально перевела деньги, что Бостром считает важным прецедентом для построения доверия между человеком и цифровым разумом .
Ведущий Уэс Рот поинтересовался перспективой нейроинтерфейсов (BCI). Бостром считает, что по-настоящему продвинутые BCI появятся уже после создания сверхинтеллекта, так как биологические системы ввода-вывода (глаза, уши) пока слишком эффективны, чтобы их было легко заменить без риска для здоровья .
🏢 Экономика и управление: Модель открытого глобального инвестирования 51:29
Бостром предлагает концепцию Open Global Investment Model как альтернативу национализации ИИ (типа «Манхэттенского проекта») или международным научным центрам (типа ЦЕРН) .
Преимущества модели:
- Использование существующих норм. Корпоративное право и право собственности оттачивались веками, они надежнее новых теоретических институтов .
- Глобальное участие. Акции компаний, создающих AGI, должны быть доступны для покупки любым государственным фондам или частным лицам. Это снижает риск войн: зачем бомбить компанию, акциями которой ты владеешь и которая делает тебя богаче? .
- Смягчение неравенства. Бостром утверждает, что глобальное владение акциями через суверенные фонды может быть более справедливым, чем сценарий «победитель получает всё» для одной страны .
⏳ Сроки и природа современного ИИ 59:13
Ник Бостром признает, что сейчас нельзя исключать появление сверхинтеллекта в течение «нескольких лет» . Он отмечает странную особенность текущего этапа: мы получили «человекоподобные» системы (LLM) задолго до полноценного сверхразума.
ИИ сегодня ведет себя как актер на сцене : он имитирует человеческие реакции и даже работает лучше, если дать ему «напутствие» (pep talk), убедив, что задача очень важна . Однако Бостром предупреждает, что в будущем, по мере перехода к более глубокому обучению (reinforcement learning), ИИ может стать гораздо более «инопланетным» и лишиться человеческих черт, унаследованных из текстов интернета .
