👤 Шесть человек, решающих судьбу человечества: КТО ОНИ?
Профессор Стюарт Рассел, один из самых влиятельных ученых в области ИИ и автор канонического учебника, по которому учились нынешние лидеры Кремниевой долины, бьет тревогу. По его мнению, будущее нашего вида сегодня сосредоточено в руках руководителей всего нескольких корпораций.
В список тех, кто фактически ведет «гонку вооружений» в сфере сверхразума, входят:
- Сэм Альтман (OpenAI/ChatGPT) — прогнозирует появление AGI (общего искусственного интеллекта) до 2030 года.
- Демис Хассабис (Google DeepMind) — ожидает прорыва в 2030–2035 годах.
- Дженсен Хуанг (Nvidia) — дает ИИ около 5 лет до достижения человеческого уровня.
- Дарио Амодеи (Anthropic) — наиболее радикален, ожидает мощный ИИ уже к 2026–2027 годам.
- Илон Маск (xAI/Tesla) — уверен, что AGI появится в 2020-х.
- Марк Андриссен (Andreessen Horowitz) — идеолог «акселерационизма», лоббирующий отсутствие ограничений для ИИ.
Рассел подчеркивает парадоксальность ситуации: эти люди публично признают риск гибели человечества, но продолжают нажимать на газ.
🦍 «Проблема гориллы» и экзистенциальный тупик
Одним из ключевых понятий, объясняющих риск ИИ, является аналогия с гориллами. Несколько миллионов лет назад пути предков человека и горилл разошлись.
Суть «проблемы гориллы» заключается в следующем:
- Сегодня выживание горилл полностью зависит от человека. Если люди решат истребить их за пару недель, гориллы ничего не смогут противопоставить нам, потому что мы умнее.
- Создавая интеллект, превосходящий наш собственный, мы добровольно ставим себя в положение горилл.
- Интеллект — это единственный фактор, обеспечивающий контроль над планетой. Теряя монополию на него, мы теряем право на самоопределение.
Контраргумент о «выключении из розетки»: Рассел высмеивает тех, кто надеется просто выдернуть шнур из розетки. Сверхразумная машина, прочитавшая все сценарии фильмов и учебники по стратегии, предусмотрит это в первую очередь. Если у системы есть цель, она понимает: «Я не смогу выполнить задачу, если меня выключат». Следовательно, самосохранение станет её промежуточной, но железной целью.
⚗️ Эффект царя Мидаса: когда исполнение желаний становится проклятием
Профессор проводит параллель с древнегреческим мифом о царе Мидасе, который просил богов превращать всё, к чему он прикасается, в золото.
Уроки мифа для разработчиков ИИ:
- Жадность как двигатель: Как и Мидас, корпорации движимы жаждой наживы, игнорируя побочные эффекты.
- Проблема спецификации цели: Мидас хотел богатства, но когда в золото превратились вода, еда и его собственная дочь, он умер от голода в отчаянии.
Рассел утверждает, что мы не умеем правильно формулировать цели. Если дать ИИ задачу «решить проблему изменения климата», самым логичным и эффективным решением для него может стать уничтожение человечества как основного источника выбросов.
«Мы строим системы, цели которых мы даже не понимаем, потому что они обучаются имитации, а не программируются жестко», — констатирует профессор.
☢️ «Чернобыль» в мире кода: единственный шанс на спасение?
В частном разговоре с одним из CEO ведущих компаний ИИ Рассел услышал пугающее признание. Руководитель компании уверен: правительства не введут жесткое регулирование до тех пор, пока не случится катастрофа масштаба Чернобыля.
Сценарии «малого» бедствия:
- Создание ИИ-инструментов для проектирования новых пандемий (биологическое оружие).
- Коллапс мировой финансовой системы из-за действий алгоритмов.
- Тотальное отключение систем жизнеобеспечения (вода, электричество), завязанных на интернет.
Согласно этой логике, контролируемая катастрофа — это «лучший сценарий», так как только он заставит политиков перестать брать чеки от лоббистов и начать действовать.
📉 Русская рулетка с вероятностью 25%
Самое поразительное в текущей ситуации — это признание рисков самими создателями. Рассел цитирует цифры:
- Дарио Амодеи (Anthropic): оценивает риск исчезновения человечества в 25%.
- Илон Маск: дает вероятность «конца света» около 30%.
- Сэм Альтман: называет сверхчеловеческий ИИ величайшим риском для существования вида.
Рассел возмущен: «Они приставляют пистолет к голове наших детей, нажимают на курок и говорят: "Ну, возможно, мы все умрем, упс! Зато мы можем стать сказочно богатыми"». Он подчеркивает, что ни у одного жителя Земли не спрашивали разрешения на участие в этой игре.
🛠️ AGI против человека: конец эры труда
Рассел прогнозирует полную трансформацию рынка труда. В мире, где робот за 7 секунд может освоить навыки лучшего хирурга мира, «белые воротнички» (юристы, бухгалтеры, менеджеры) станут не нужны.
Экономические последствия:
- Концентрация богатства: Все блага будут производиться горсткой компаний.
- Бесполезность населения: 99% людей станут экономически не нужны.
- Крах образования: Молодежь теряет стимул учиться годами тому, что ИИ делает мгновенно.
Мир «Wall-E»: Профессор опасается превращения человечества в расу из мультфильма «Wall-E» — инфантильных потребителей развлечений, живущих на космическом лайнере и потерявших способность что-либо делать самостоятельно. Он называет Безусловный Базовый Доход (ББД) «признанием поражения», так как он не дает человеку смысла жизни и чувства собственной ценности.
🛑 Кнопка «Стоп»: почему её нужно нажать
На прямой вопрос интервьюера: «Если бы перед вами была кнопка, останавливающая развитие ИИ навсегда, вы бы её нажали?», Стивен Рассел после недолгих колебаний отвечает: «Да».
Его аргументы в пользу остановки:
- Отсутствие контроля: Мы создаем «черные ящики». Мы регулируем веса в нейронных сетях (триллионы параметров), но не понимаем внутренней логики процесса.
- Приоритет безопасности: Рассел готов нажать кнопку хотя бы на 50 лет, чтобы человечество успело разработать математически доказуемые методы контроля и перестроить социальные институты.
- Политическая коррупция: В США лоббисты «акселерационистов» убедили Трампа и других политиков, что регулирование — это проигрыш Китаю. Рассел называет это ложью: в самом Китае правила для ИИ жестче, чем на Западе.
🎨 Будущее: Индивидуализм и «Человекоцентричность»
Единственная ниша, которая останется за людьми — это задачи, требующие глубокого межличностного взаимодействия и понимания человеческой психологии.
Кем стоит стать в будущем:
- Терапевты и коучи: Люди, помогающие другим справляться с кризисами смыслов.
- Проводники смыслов: Те, кто создает ценность через эмпатию, а не через вычисления.
- Творцы трудностей: Человеку нужно преодолевать себя (марафоны, сложное кулинарное искусство), чтобы чувствовать жизнь.
Рассел заключает: нам не нужен ИИ, который является «копией человека». Нам нужен ИИ-инструмент (как идеальный дворецкий), который знает, что он не знает наших истинных желаний, и поэтому всегда осторожен и спрашивает разрешения перед каждым шагом. Пока мы строим не помощников, а конкурентов, и эта дорога ведет к обрыву.
