# Дебаты The Economist: Юваль Ной Харари и Мустафа Сулейман о будущем ИИ

Источник: https://www.youtube.com/watch?v=7JkPWHr7sTY
Канал: Yuval Noah Harari 
Опубликовано: 17.09.2023

---

Искусственный интеллект стремительно эволюционирует, переходя от простого анализа данных к генерации смыслов и автономным действиям в реальном мире. В ходе глубоких дебатов, организованных авторитетным изданием The Economist, сооснователь DeepMind Мустафа Сулейман и всемирно известный историк Юваль Ной Харари обсудили, как грядущая технологическая волна изменит глобальную экономику, геополитический баланс сил и выживание либеральной демократии. Собеседники сопоставили колоссальный терапевтический потенциал новых технологий с экзистенциальными рисками потери человечеством контроля над собственной историей.

## 🔮 Мир в 2028 году: от генерации слов к автономным действиям
[[JUMP:01:45]]

Мустафа Сулейман предлагает оценить траекторию развития ИИ, оглянувшись на прошедшее десятилетие [2:13]. По его словам, за последние 10 лет индустрия научилась отлично классифицировать информацию:

*   Распознавать сложные объекты на изображениях [2:39].
*   Анализировать, сортировать и структурировать текст.
*   Транскрибировать аудиозаписи и извлекать из них концептуальные смыслы [2:53].

Сегодняшний этап развития генеративного ИИ позволяет создавать новые изображения, видео, аудио и тексты с поразительной точностью и изяществом [3:05].

Мустафа Сулейман прогнозирует, что в ближайшие пять лет ведущие технологические компании обучат модели, превосходящие GPT-4 по масштабу вычислений более чем в 1000 раз [3:17]. По его мнению, каждый новый порядок величин в вычислениях приводит к появлению качественно новых эмерджентных свойств.

Главным прорывом ближайших лет сооснователь DeepMind считает способность ИИ планировать свои действия на длительных временных горизонтах. Вместо мгновенной генерации ответа ИИ перейдет к выстраиванию цепочек последовательных действий. Сулейман называет этот этап развитием «способного искусственного интеллекта» (ACI — Artificial Capable Intelligence), который может не просто говорить, но и делать [3:53].

В качестве нового критерия разумности Сулейман предлагает современный тест Тьюринга [4:12]. Вместо текстового диалога машине ставится практическая задача: получить инвестиции в размере 100 000 долларов и за три месяца автономно запустить коммерческий продукт [4:36]. ИИ должен будет провести исследование рынка, разработать чертежи, договориться с производителем, организовать логистику и продажи [4:48]. Сулейман полагает, что к 2028 году ИИ сможет автономно выполнять большую часть подобных цепочек, используя API-интерфейсы и совершая звонки людям для переговоров [5:27].

## 🛑 «Конец человеческой истории»: взгляд философа
[[JUMP:05:41]]

Юваль Ной Харари заявляет, что если прогнозы Сулеймана сбудутся, человечество окажется на пороге радикального сдвига [5:56]. С точки зрения историка, это будет означать не конец истории как таковой, а конец эпохи, в которой доминировали люди. Впервые управление ключевыми процессами перейдет к нечеловеческому, чужеродному интеллекту [6:10].

Харари подчеркивает фундаментальное отличие ИИ от всех предыдущих технологий в истории человечества:

*   **Способность принимать решения.** Каменное рубило или атомная бомба не могли сами решить, как их применить [6:37]. Решение сбросить бомбу на Хиросиму принимал президент Трумэн, а не сам снаряд [6:50]. ИИ же способен действовать автономно.
*   **Создание новых идей.** Радиоприемник или печатный станок лишь тиражировали произведения человеческой культуры [7:04]. ИИ способен генерировать принципиально новые концепции, тексты и смыслы в масштабах, недоступных человеческому разуму [7:16].

Историк считает, что передача права принятия решений и создания идей автономным алгоритмам полностью разрушит привычный исторический процесс, управляемый людьми.

## 💡 Великие обещания: зачем мы рискуем?
[[JUMP:07:29]]

Мустафа Сулейман напоминает, что абсолютно все достижения человеческой цивилизации являются продуктом человеческого интеллекта [8:21]. По его оценке, автоматизация и оптимизация процессов способны принести беспрецедентное изобилие. Сто лет назад на производство одного килограмма зерна уходило в 50 раз больше человеческого труда, чем сегодня [8:48]. ИИ обещает аналогичный скачок эффективности во всех сферах умственного труда.

Сулейман выделяет ключевые преимущества внедрения ИИ:

*   Ускорение научных открытий и разработка новых методов лечения болезней [9:55].
*   Эффективная борьба с изменением климата за счет точного прогнозирования и распределения ресурсов [10:07].
*   Появление у каждого человека персонального интеллектуального помощника (своего рода «начальника штаба» или личного ассистента в кармане), который будет фильтровать информацию и оптимизировать повседневные задачи [10:20].

Юваль Ной Харари признает, что огромные выгоды технологии делают риск крайне заманчивым [10:45]. Однако историк полагает, что современное общество переоценивает важность чистого интеллекта [11:12]. 

По мнению Харари, человек разумный (Homo sapiens) сейчас является самым умным, но одновременно самым разрушительным существом на планете, которое ставит под угрозу выживание экосистемы [11:24]. Он предостерегает, что наращивание интеллектуальной мощи без соразмерного развития мудрости и сознания лишь умножит риски глобальной катастрофы.

## 💼 Экономика будущего: угроза рабочим местам и социальный раскол
[[JUMP:12:30]]

Размышляя о рынке труда, Мустафа Сулейман выражает умеренный оптимизм на ближайшие 10–20 лет [13:09]. Он считает, что спрос на человеческий труд сохранится, а ИИ будет выступать в роли инструмента, расширяющего возможности профессионалов. Однако на горизонте 30–50 лет делать прогнозы становится сложно. 

Сооснователь DeepMind обращает внимание на то, что ИИ уже демонстрирует высокие результаты в сферах, которые ранее считались исключительно человеческими:

*   **Творчество:** создание оригинальных произведений искусства и генерация нестандартных идей [13:34].
*   **Эмпатия:** демонстрация понимания и заботы при взаимодействии с пользователями [13:47].

Юваль Ной Харари указывает на то, что даже временные кризисы на рынке труда несут в себе колоссальную опасность. Он приводит исторический пример: Адольф Гитлер пришел к власти в Германии на фоне трех лет 25%-ной безработицы [14:51]. Таким образом, даже краткосрочный хаос при переходе к новой экономике может разрушить политическую стабильность.

Второй серьезной угрозой Харари считает географический раскол [15:19]. По его мнению, новые высокооплачиваемые рабочие места будут создаваться в Калифорнии, Техасе или Китае, в то время как развивающиеся страны (например, Гватемала или Пакистан) полностью потеряют свою экономическую базу из-за автоматизации текстильного производства [15:49]. 

Историк сомневается, что правительства развитых стран захотят справедливо перераспределять сверхдоходы от ИИ в глобальном масштабе и помогать безработным на другом конце планеты [17:17].

Сулейман соглашается, что управление транзитным периодом потребует новых инструментов налогообложения и перераспределения благ [16:52]. Он подчеркивает, что конечной целью цивилизации должно быть избавление людей от изнурительного труда ради достижения всеобщего изобилия [16:14].

## 🗳️ Угроза демократии: взлом «операционной системы» общества
[[JUMP:17:41]]

Юваль Ной Харари напоминает, что либеральная демократия в ее современном виде сформировалась под влиянием информационных технологий XIX и XX веков [18:10]. До изобретения газет, телеграфа, радио и телевидения демократия могла существовать только в масштабах небольших полисов вроде древних Афин [18:22]. Для функционирования демократии на уровне огромного государства необходим постоянный общественный диалог [18:35].

Историк опасается, что новые технологии разрушат этот диалог за счет уничтожения взаимного доверия [19:12]. Когда публичное пространство заполняется ботами, имитирующими людей, граждане теряют способность отличать реального собеседника от алгоритма [19:40]. Это делает невозможным содержательную дискуссию. 

Харари считает, что ИИ способен «взломать операционную систему» человеческой культуры [20:08]. По его мнению, точно так же, как государство борется с фальшивомонетничеством для защиты финансовой системы [20:33], оно должно законодательно запретить создание «фальшивых людей» (ботов) [20:47].

Мустафа Сулейман разделяет опасения историка и поддерживает идею полного запрета на цифровую имитацию личности [21:53]. В то же время предприниматель отмечает, что за последние 30 лет демократизация вещания позволила миллионам людей вести блоги и подкасты без цензуры крупных медиаинститутов [21:00]. Он верит, что общество выработает технические и правовые механизмы защиты от ботов, как это происходило при появлении предыдущих медиатехнологий [21:40].

Харари возражает, подчеркивая, что в ведущих демократиях мира (таких как США, Великобритания или Израиль) уровень доверия в обществе падает, несмотря на самые передовые коммуникационные технологии [22:47]. Граждане уже не могут договориться даже о базовых фактах, например о том, кто выиграл выборы [23:01].

## 🛡️ Стратегия сдерживания: 10-пунктный план и превентивные меры
[[JUMP:27:01]]

Для минимизации рисков Мустафа Сулейман предлагает комплекс практических шагов по ограничению и контролю технологий. Его план включает следующие меры:

*   **Агрессивное стресс-тестирование (Red-teaming).** Искусственный интеллект необходимо целенаправленно провоцировать на создание инструкций по сборке химического оружия, бомб или генерацию токсичного контента для выявления уязвимостей [27:26].
*   **Обмен информацией о безопасности.** По аналогии с авиационной отраслью, где данные «черных ящиков» после авиакатастроф становятся доступны всем авиакомпаниям, разработчики ИИ должны делиться информацией об инцидентах безопасности с конкурентами [28:45].
*   **Запрет на использование ИИ в предвыборных кампаниях.** Общество не должно позволять использовать нестабильные генеративные модели для манипуляции выборами [29:13].
*   **Ограничение опасных функций.** Сулейман предлагает исключить возможность предоставления ИИ полной автономии и запретить функцию рекурсивного самосовершенствования (когда ИИ сам переписывает свой код для достижения собственных целей) [29:39].
*   **Лицензирование и аудит.** Разработчики передовых систем должны проходить строгую государственную сертификацию, аналогично создателям ядерных технологий [30:06].

Сулейман признает сложность контроля в эпоху массового распространения открытого исходного кода (open-source) [30:33]. По мере того как модели становятся компактнее и дешевле, они неизбежно утекают в сеть. 

Предприниматель приводит тревожную аналогию из сферы синтетической биологии: сегодня настольный синтезатор ДНК стоит около 20 000 долларов [31:53]. Любой студент-биолог может использовать его для создания патогенов, которые могут оказаться опаснее вируса COVID-19 [32:06]. Сдерживание этой волны Сулейман называет главным вызовом для человечества на ближайшие десятилетия.

## 🌍 Геополитика и новые институты: как избежать гонки вооружений
[[JUMP:32:32]]

Юваль Ной Харари указывает на геополитический тупик: если бы человечество выступало единым фронтом, сдержать угрозу ИИ было бы относительно просто [33:13]. Однако в условиях жесткого противостояния между США и Китаем сдерживание становится почти невыполнимой задачей.

Историк предлагает метафору инопланетного вторжения: представьте, что к Земле летит флот высокоинтеллектуальных пришельцев, которые прибудут через 5 лет [33:52]. Они обещают вылечить рак и победить климатический кризис, но обладают собственной волей [34:05]. В реальности эти «пришельцы» создаются не в космосе, а в лабораториях Кремниевой долины и Китая [34:17].

Харари считает неэффективным жесткое и статичное регулирование. Вместо этого он призывает создавать гибкие «живые институты», способные быстро реагировать на изменения [35:22]. На данный момент, по его мнению, правительства и университеты катастрофически отстают от коммерческого сектора по уровню кадров и технологических ресурсов [35:47]. Для эффективного контроля нужны независимые органы, обладающие авторитетом, ресурсами и доверием общества.

Мустафа Сулейман соглашается с необходимостью институциональных реформ. Он выделяет две перспективные инициативы:

1.  **Закон ЕС об искусственном интеллекте (EU AI Act).** Данный законопроект предлагает разумную классификацию рисков в зависимости от сферы применения ИИ (здравоохранение, транспорт и т. д.) и накладывает ограничения при превышении порогов опасности [38:38].
2.  **Орган по типу IPCC (Межправительственной группы экспертов по изменению климата).** Нам необходима независимая международная комиссия для объективной оценки научных фактов и возможностей существующих ИИ-систем [39:04]. Сулейман готов предоставить таким экспертам полный доступ к технологиям своей компании Inflection AI.

## 📉 Новые сценарии катастроф: от вирусов до финансового коллапса
[[JUMP:39:44]]

Юваль Ной Харари предлагает выйти за рамки голливудских сюжетов об ИИ, создающем смертоносные вирусы, и рассмотреть угрозы для финансовой системы. 

Он напоминает о кризисе 2007–2008 годов, который начался из-за использования сложных деривативов (CDO) [40:25]. Эти инструменты были изобретены высококлассными математиками, но их структура оказалась настолько сложной, что регуляторы и политики не смогли вовремя оценить риски, что привело к коллапсу мировой экономики.

Харари описывает катастрофический сценарий: ИИ изобретает принципиально новые финансовые инструменты, сложность которых превосходит понимание любого человека [40:51]. Система начинает приносить создателям гигантскую прибыль, но в определенный момент выходит из строя и обрушивает мировую экономику. При этом ни один министр финансов или президент не понимает причин произошедшего [41:04].

Мустафа Сулейман отвечает на это, что западные страны должны твердо следовать своим ценностям и применять меры предосторожности даже в одностороннем порядке [41:30]. По его мнению, нельзя вступать в «гонку на выживание» и пренебрегать безопасностью только потому, что геополитические соперники могут проигнорировать эти правила [41:57].

## 🧬 Заключение: инвестиции в человеческое сознание
[[JUMP:43:33]]

Объясняя, почему он продолжает разрабатывать технологии ИИ, Мустафа Сулейман подчеркивает, что его цель — продемонстрировать пример создания безопасного ИИ [43:58]. Разработанный его компанией персональный ассистент Pi спроектирован с жестким приоритетом безопасности: он устойчив к взломам и не генерирует токсичный контент [44:12]. Сулейман считает грядущую технологическую волну неизбежной и видит свою миссию в том, чтобы направить ее в безопасное русло [44:24].

Юваль Ной Харари подводит итог, сравнивая текущую стадию развития ИИ с «амебой» по сравнению с будущим потенциалом технологии [45:16]. При этом эволюция от «амебы» до «тираннозавра» займет не миллионы лет, а всего около двух десятилетий [45:20].

Историк формулирует ключевое правило выживания человечества в новую эпоху: на каждый доллар и каждую минуту, инвестируемые в развитие искусственного интеллекта, необходимо инвестировать один доллар и одну минуту в развитие человеческого сознания и разума [45:44]. К сожалению, констатирует Харари, на сегодняшний день этот баланс критически смещен в сторону машин [45:58].